Originaire de Bretagne, Alphonse Le Gall commença sa carrière professionnelle au Stade Rennais, après avoir été repéré à Lesneven (PH). Il s'imposa rapidement sur son aile gauche, marquant beaucoup de buts pour un joueur excentré puis rejoignit l'Olympique de Marseille en 1954. Son passage sur la Canebière fut mitigé. Aussi, il n'y resta que jusqu'en novembre 1955 avant de signer à Angers.

Ce fut dans ce club qui disputa la majeure partie de sa carrière. Il prit une part prépondérante dans l'accession du SCO parmi l'élite et dans un parcours mémorable en Coupe de France (finaliste en 1957).

En 1958, il fut prêté par le club angevin à Bordeaux. Une expérience sans lendemain car il retourna à Angers au terme d'une seule saison en Gironde. Il termina sa carrière comme arrière latéral gauche.