Fils d'un père rugbyman à Saint-Médard-en-Jalles, Paul Baysse voulait jouer au hockey sur glace. Mais jugé trop jeune, il s'orienta vers le football et fit ses premiers pas au RC Hastignan, petit club d'un quartier de cette commune du nord-ouest de l'agglomération bordelaise. Il porta ensuite les couleurs de Saint-Aubin-de-Médoc puis du FC Saint-Médard-en-Jalles. Âgé de 12 ans, il passa et réussit les tests de détection aux Girondins de Bordeaux. 

Au centre de formation, il gravit non sans mal toutes les marches vers l'équipe professionnelle. Externe jusqu'à 17 ans, il consentit à de nombreux sacrifices pour réaliser son rêve de signer un contrat professionnel, rêve qu'il réalisa en 2006. S'il fut présent à de rares reprises sur les feuilles de matches bordelaises en L1, il n'eut jamais la joie de jouer en équipe première entraînée par Ricardo. Après une participation à l'Euro U19, il décida de quitter les Girondins, Laurent Blanc lui faisant bien comprendre qu'il ne jouerait pas. En 2007, il fit alors l'objet d'un prêt à Sedan qui le garda finalement jusqu'en 2010. Dans les Ardennes, il débuta réellement sa carrière professionnelle en L2.

Il découvrit ensuite la L1 à Brest mais il subit également sa première grave blessure (rupture des ligaments croisés du genou gauche) en janvier 2013. L'été suivant, encore en phase de rééducation, il eut la chance de signer un contrat avec l'AS Saint-Etienne. Mais lors de son match de reprise, en août 2013, il se rompit les ligaments de l'autre genou... Très courageux, il se battit pour revenir et en septembre 2014, il endossa enfin le maillot vert lors d'un déplacement en Coupe d'Europe en Azerbaïdjan.

Mais barré à l'ASSE, il décida en août 2015 de partir à Nice où il connut ses meilleures années de footballeur. Puis, en fin de contrat avec le club azuréen, il tenta  en 2017 une expérience à l'étranger, à Malaga. Mais au bout de 6 mois, il choisit de revenir à Bordeaux, pour enfin y jouer en professionnel.

Son deuxième passage dans son club formateur ne fut pas couronné de succès. En pleine décrépitude, les Girondins connurent une inexorable descente aux enfers. Paul Baysse ne disputa qu'une quarantaine de matches en 3 saisons et demie. Placardisé par Gustavo Poyet, il fit même l'objet d'un prêt à Caen en 2018-2019. Seul Jean-Louis Gasset, lors de l'exercice 2020-2021, lui fit réellement confiance...

Et ce fut la mort dans l'âme qu'il raccrocha les crampons à l'issue d'une terrible saison qui vit le club bordelais descendre en L2. Resté au club pour diverses missions, il montra son attachement aux Marine et Blanc en signant en août 2024 une licence pour les aider à constituer une équipe réserve en N3.