Zsolt Baumgartner commence sa carrière automobile par le karting en Hongrie, puis se lance en 1997 dans le championnat d'Allemagne de Formule Renault, terminant sa première saison parmi les trois premiers du classement de la catégorie 1 700 cm³. L'année suivante, il rejoint le championnat de France de Formule Renault et intègre l'école « La Filière » d'Alain Prost, se classant troisième, ce qui lui apporte une première visibilité internationale. En 1999, il franchit une étape supplémentaire en remportant le championnat d'Allemagne de Formule Renault (catégorie 2 000 cm³), avec plusieurs victoires et une troisième place à l'Eurocup Formula Renault la même année.
En 2000, il accède à la Formule 3 allemande avec l'écurie GM Motorsport. Il se maintient régulièrement dans le top dix, sans toutefois parvenir à monter sur le podium ; son meilleur résultat est une quatrième place. Il termine treizième du championnat et sixième chez les rookies. En 2001, il continue en F3 avec Trella Motorsport, avec le soutien d'un sponsor hongrois, mais la saison est plus difficile et il ne fait guère mieux qu'une sixième place comme meilleur résultat, terminant finalement dix-septième du championnat.
Toujours en 2001, il fait ses débuts en Formule 3000 chez Prost Junior Team, devenant le premier pilote hongrois engagé dans cette discipline. Il ne parvient toutefois pas à marquer de point, son meilleur résultat étant une treizième place à Spa. En 2002, il rejoint l'équipe Nordic Racing en Formule 3000, mais malgré un effectif réputé, les résultats restent discrets. Lors de la dernière manche à Monza, il profite de la disqualification du pilote devant lui pour décrocher une sixième place et marquer le seul point de sa saison. En 2003, il poursuit en F3000 avec l'équipe Coloni Motorsport. Il commence la saison par une onzième place à Imola, puis marque des points à Barcelone en terminant septième. Il se classe ensuite cinquième à Monaco, mais ne marque plus de points lors des courses suivantes.
En F1 avec Jordan
L'événement marquant de l'année survient à mi-saison : Zsolt est appelé par l'équipe Jordan pour remplacer Ralph Firman, victime d'un accident lors des essais libres du Grand Prix de Hongrie. Ne possédant pas initialement la Super Licence F1, il l'obtient juste à temps pour participer à son premier Grand Prix devant son public, devenant ainsi le premier Hongrois à prendre le départ d'une course de Formule 1. Lors des qualifications, il se classe 19e sur la grille, à près de trois secondes de son coéquipier Giancarlo Fisichella. Durant la course, il se hisse jusqu'à la treizième position grâce à une série d'abandons, mais est contraint d'abandonner à cause d'un problème moteur. Sa prestation est bien accueillie par l'écurie et la presse, qui soulignent l'importance de l'événement pour son pays. Il est de nouveau appelé pour remplacer Firman au Grand Prix d'Italie, où il se qualifie 18e et termine à une honorable onzième place, à deux tours du vainqueur, juste derrière Fisichella.
Minardi
En 2004, il dispute sa première saison complète en Formule 1, engagé comme titulaire chez Minardi, une équipe modeste mais bien implantée sur la grille de départ. Au volant de la Minardi PS04B, il commence par un abandon en Australie, puis se classe 16^e en Malaisie. Après un abandon à Bahreïn, il se classe 15e à Saint-Marin, puis abandonne en Espagne. A Monaco, il se retrouve rapidement dernier, mais grâce aux nombreux abandons, il termine neuvième, à la porte des points. Après une dixième place au Canada, il parvient, de nouveau grâce à de nombreux abandons, à terminer huitième lors du Grand Prix des Etats-Unis, marquant ainsi son premier (et unique) point. Lors de la deuxième partie de la saison, il ne parvient plus à réitérer cette performance, se contentant au mieux d'une quinzième place. Le point marqué aux Etats-Unis lui permet de se classer vingtième au championnat des pilotes et suscite un enthousiasme particulier dans son pays natal, renforçant ainsi l'essor de la discipline.
L'après-F1
Après la saison 2004, il ne retrouve pas de volant de titulaire en Formule 1. Il ne revient plus en compétition de manière régulière par la suite. Il devient pilote d'essai pour des programmes comme la Champ Car et la Superleague Formula, ainsi que pilote attitré de voitures biplaces de Formule 1, participant à des démonstrations et à des événements promotionnels. Il est également consultant et commentateur pour la télévision hongroise, apportant son expertise et son regard de pilote sur la discipline, et contribuant ainsi à la médiatisation du sport automobile dans son pays.
Par ailleurs, Baumgartner se lance dans des activités hors piste, notamment dans le secteur agricole en Hongrie, et développe ses compétences entrepreneuriales en se réorientant vers une carrière d'homme d'affaires.
.