Né à Toulouse, David Jemmali fit ses premiers pas de footballeur sous les couleurs de Toulouse-Fontaines. Sélectionné en équipe régionale Midi-Pyrénées, il fut repéré par les recruteurs de l'AS Cannes. Il y apprit le métier de footballeur et débuta en 1995 en D1. Durant l'été 1996, il aurait déjà pu signer aux Girondins mais préféra poursuivre sa découverte de l'élite sous le maillot cannois. L'année suivante, après une cinquantaine de matches joués sur la Côte d'Azur, il se sentit armé pour rallier une formation plus huppée et rejoindre les Girondins. Il inscrivit son nom dans l'histoire du club, en restant fidèle 11 ans aux couleurs marine et blanc et en se forgeant un palmarès étoffé (champion en 1999, Coupe de la Ligue en 2002 et 2007). 

En concurrence avec François Grenet notamment, il dut attendre 2001 pour devenir titulaire indiscutable. Les arrivées successives de Franck Jurietti ou de Julien Faubert ne l'empêchèrent pas de continuer à être fréquemment aligné par les entraîneurs successifs.

Il découvrit la sélection tunisienne assez tardivement car il avait refusé les appels du pied des différents sélectionneurs, espérant jouer un jour pour l'équipe de France. En 2006, il participa à la Coupe du Monde au poste d'arrière latéral gauche.

En juillet 2007, libre de tout contrat, il fut convoité par Marseille et par le Toulouse FC d'Elie Baup. Mais il préféra rester une saison de plus en Gironde. Mais le nouvel entraîneur, Laurent Blanc, lui préféra Mathieu Chalmé et lui montra la porte de la sortie. Il signa à l'été 2008 un contrat de 2 ans avec Grenoble, puis raccrocha les crampons.