Débutant sa carrière en Algérie au GS Mascara, Mohamed Tayeb se décida à rejoindre la métropole en 1960 en signant à l'Arago Orléans.

Au terme de 3 saisons dans le Loiret, il signa aux Girondins de Bordeaux. Il ne joua que très peu sous le maillot marine et blanc. Il fit quelques apparitions en 1963-1964 sous les ordres de Salvador Artigas.

Puis il partit chercher son bonheur en D2 à l'AS Cherbourg, accompagnant le gardien Christian Montes en Normandie.

De retour en Gironde l'année suivante, mis à part 5 apparitions avec les professionnels, il dut se contenter de matches en équipe réserve. Il quitta le club pour rejoindre en 1967 le Stade de Reims.

En 1969, il retourna en Algérie et endossa le maillot du WA Tlemcen puis du GS Mascara avant de terminer sa carrière au WA Mostaganem. 

A l'issue de sa carrière, il devint entraîneur de plusieurs formations algériennes.