Né à Düsseldorf, dans l'ouest de l'Allemagne fédérale, Klaus Allofs tapa ses premiers ballons dans un des clubs de quartier de sa ville natale, le TuS Gerresheim. Il rejoignit ensuite le club phare de Düsseldorf, le Fortuna. Il y débuta sa carrière professionnelle et commença à faire parler de lui, au point de décrocher notamment sa première sélection avec la Mannschaft. Il signa ensuite au FC Cologne en 1981 où il s'affirma comme un des meilleurs joueurs de Bundesliga. 

En 1988, à 30 ans, il répondit favorablement aux appels du pied de l'ambitieux Olympique de Marseille. Il y remporta un championnat de France et une Coupe de France, en deux ans. Il occupa également un rôle prépondérant dans l'éclosion définitive d'un certain Jean-Pierre Papin, au même titre qu'Alain Giresse.

Malgré une participation décisive dans l'obtention de ce doublé coupe-championnat en 1989, il fut poussé vers la sortie par Bernard Tapie. En effet, l'Allemand connaissait des problèmes à un genou et le boss marseillais préféra s'en séparer. Transféré aux Girondins, dans le cadre d'un échange avec Alain Roche et Jean Tigana, il accomplit une saison remarquable.

Le duo qu'il formait avec Piet Den Boer, sous la houlette de Raymond Goethals, permit aux marine et blanc de terminer sur la deuxième marche du podium, derrière l'OM. Ce fut la dernière belle saison bordelaise de l'ère Bez et le début de la débâcle économique.

S'il débuta la saison 1990-1991 avec les Girondins (1 match), Allofs retourna alors finir sa carrière en Bundesliga, au Werder Brême avec qui il remporta la Coupe des Coupes 1992, face à l'AS Monaco.