Né au cœur de la Sibérie, Alexeï Smertin intégra le centre de formation du Dinamo Barnaul. Remarqué par l'ancien international Yakovenko en 1997 dans les rangs de l'obscur Zaria Leninskouznietski, il poursuivit sa carrière à l'Ouralan Elista. Il n'y resta qu'une seule saison, avant de rejoindre le prestigieux Lokomotiv Moscou en janvier 1999.

Les dirigeants bordelais vinrent le chercher en juillet 2000 alors qu'il était international depuis 1998 et qu'il venait d'être élu meilleur joueur de l'année 1999. Arrivé dans l'anonymat le plus complet, il s'imposa très rapidement comme titulaire dans le milieu girondin. Aux côtés du Brésilien Eduardo Costa, il forma l'un des meilleurs duos de récupérateurs du championnat.

Durant 3 ans, le Russe fut un rouage essentiel de la formation d'Elie Baup. Vainqueur de la Coupe de la Ligue 2002, il aligna les prestations de haut vol qui attirèrent forcément les recruteurs de toute l'Europe.

En juin 2003, il fut recruté par le Chelsea de son compatriote Roman Abramovitch et prêté dans la foulée à Portsmouth.

La suite de sa carrière le conduisit à Charlton, au Dynamo Moscou puis à Fulham où il raccrocha les crampons.