Jean-Marc Gounon commence sa carrière par le karting en 1978, puis passe à la monoplace en 1985 en participant au championnat de Formule Renault, qu'il termine à la dixième place. En 1986, il remporte deux victoires et termine vice-champion, derrière Erik Comas. L'année suivante, il part favori mais se classe une nouvelle fois deuxième du championnat, avec quatre victoires.
En 1988, il participe au championnat de France de Formule 3 avec l'écurie Promatecme, au volant d'une Dallara F388 Alfa Romeo. Il termine quatrième avec trois podiums, mais sans victoire. En 1989, il rejoint l'écurie Oreca et décroche le titre en remportant cinq victoires : c'est la meilleure année de sa carrière.
Fort de ce titre, il passe en F3000 avec l'écurie Mansell-Maddock, co-dirigée par Nigel Mansell. Il ne monte qu'une seule fois sur le podium, avec une troisième place à Hockenheim, et se classe neuvième du championnat. En 1991, il rejoint l'écurie Miko Earle's 3001 et remporte une victoire sur le circuit de Pau, terminant sixième du championnat. Malheureusement pour lui, bien qu'il court dans des écuries de pointe, c'est souvent l'année où leurs monoplaces ne sont pas performantes. En 1992, il rejoint DAMS, gagne à Magny-Cours lors de la dernière manche et termine le championnat à la sixième place.
Il est alors recruté par l'écurie March pour la saison 1993 de Formule 1, mais celle-ci met malheureusement la clé sous la porte avant le début du championnat, en raison de difficultés financières. Il effectue toutefois un essai chez Larrousse.
En F1 avec Minardi
En fin de saison, Minardi, qui manque de budget, doit impérativement faire appel à un pilote payant pour participer aux deux derniers Grands Prix de l'année. Son choix se porte sur Jean-Marc, qui apporte un million de francs grâce au Fonds tabac et au conseil général de l'Ardèche. A 30 ans, le Français débarque au Japon, mais il aura fort à faire, car il ne connaît ni la Minardi, ni le circuit de Suzuka. Qualifié en 24e et dernière position, il s'accroche avec Andrea de Cesaris lors du premier tour. Il repasse par les stands pour faire examiner sa suspension, puis ne repart que cinq tours plus tard, avant d'abandonner par mesure de sécurité. En Australie, il part de la 22e position, mais part en tête-à-queue au 4e, au 22e et au 37e tour, ce qui le force à l'abandon après avoir calé.
Simtek
En 1994, il commence la saison du championnat de Super Tourisme français avec l'écurie BMW. Grâce au fonds Tabac, il décroche un volant pour courir en Formule 1 à partir du Grand Prix de France chez Simtek. Sur le circuit de Magny-Cours, Jean-Marc s'élance de la 26e et dernière place de la grille de départ et réalise une course solide et appliquée pour franchir la ligne d'arrivée en neuvième position. La suite de sa saison ne lui permettra cependant pas de rééditer cette performance. Lors des six Grands Prix suivants, il ne quitte pas la dernière ligne de la grille de départ et abandonne à trois reprises, terminant 16e en Grande-Bretagne, 11e en Belgique et 15e au Portugal. En fin de saison, faute de soutiens financiers suffisants pour conserver son baquet, il cède sa place à l'Italien Domenico Schiattarella.
L'après-F1
Après son passage en Formule 1, il réoriente sa carrière vers les épreuves d'endurance et de grand tourisme. En 1995, il participe aux 24 Heures du Mans au volant d'une Venturi. L'année suivante, il prend le volant d'une Ferrari F40 GTE aux côtés de Paul Belmondo et Eric Bernard.
En 1997, il participe au championnat FIA GT avec une McLaren F1 GTR du Gulf Team Davidoff. Il dispute à nouveau les 24 Heures du Mans avec cette voiture et décroche la deuxième place au classement général, ainsi que la victoire dans la catégorie GT1. Ses performances lui permettent de rejoindre l'équipe Persson Motorsport, qui engage des Mercedes pour la saison 1998 du championnat FIA GT, au volant d'une CLK GTR. Il participe aux 24 Heures du Mans au sein de l'équipe officielle AMG Mercedes, mais abandonne dès la troisième heure de course.
En 1999, il rejoint l'écurie française DAMS pour piloter une Lola-Judd dans le championnat FIA Sportscars. Il remporte quatre victoires et termine sixième du championnat. Il est de nouveau engagé par Mercedes pour disputer les 24 Heures du Mans, mais il ne prendra pas le départ après que son coéquipier Mark Webber a effectué un looping durant le warm-up. Il poursuit ensuite sa carrière en endurance, participant notamment à l'ALMS avec une BMW en 2000, au FIA GT avec une Ferrari en 2002, puis à l'ELMS avec une Courage à partir de 2004.
L'année suivante, en 2008, il participe pour la douzième et dernière fois aux 24 Heures du Mans, aux commandes du prototype Epsilon Euskadi EE1. Après l'arrêt de ses engagements professionnels, il poursuit son activité en compétition automobile dans les épreuves de véhicules historiques.
.