Habitant le quartier des 3 000, une zone dite sensible d'Aulnay-sous-Bois, Alou Diarra débuta dans le club de sa ville. Sa force mentale y fut déjà mise à l'épreuve avec deux fractures du tibia à 7 ans. En cadets, il signa à Villepinte, formation de DH. Malgré de nombreux courriers adressés à divers centres de formation, il ne reçut qu'une réponse favorable de Louhans-Cuiseaux. En Saône-et-Loire, il intégra rapidement l'équipe première pensionnaire de D2. Ce fut lors d'un Le Mans-Louhans-Cuiseaux qui tapa dans l'oeil des recruteurs bavarois. Au terme d'une semaine d'essai, il signa à 19 ans au FC Bayern Munich. Il n'y joua aucun match et signa à Liverpool. Dans ce club prestigieux, il ne joua pas plus et fut prêté à trois reprises (Le Havre, Bastia, Lens). Le club nordiste l'acheta définitivement. Il joua une saison complète dans le Pas-de-Calais avant de signer à Lyon en 2006. Sa saison lyonnaise fut assez décevante (15 matches en L1) et le poussa à envisager un nouveau départ afin de gagner du temps de jeu.

Il fut prêté aux Girondins en août 2007. Au sein de l'équipe de Laurent Blanc, il trouva tout de suite ses marques et enchaîna les rencontres de bon niveau. Placé en sentinelle, il s'affirma comme le pion essentiel du dispositif bordelais. Au terme d'une saison qui voient les Girondins finirent vice-champions en 2008, il fut transféré définitivement en Gironde.

La saison 2008-2009 fut une saison fabuleuse avec un titre de champion et une Coupe de la Ligue. En 2009-2010, Alou Diarra confirma son importance dans le groupe en devenant capitaine de l'équipe à la place d'Ulrich Ramé, remplacé dans la cage par Cédric Carrasso. D'abord brillante, cette saison fut décevante avec une triste 6^ème place, malgré un quart de finale de Ligue des champions. C'en était fini de la domination bordelaise.

À l'image de son club, Alou Diarra ne reconnaîtra plus un si haut niveau de performances, et au terme d'une saison 2010-2011 laborieuse, le capitaine bordelais s'engagea pour l'Olympique de Marseille. Il connut ensuite West Ham, Rennes, Charlton et Nancy.