Hans Herrmann courut surtout dans les courses de voitures de sport, il ne connut pas en F1 la même réussite qu'il aurait du avoir.

Hans commence à courir en 1953, en voitures de sport sur Porsche. En Formule 2, il engage à titre privé une Veritas Meteor, avec laquelle, il va terminer quatrième de l'Avusrennen, et également courir le Grand Prix d'Allemagne sur le Nürburgring, terminant à la neuvième place. La saison suivante, après une troisième place lors de la Carrera Panamericana, il part rejoindre l'écurie Mercedes-Benz, qui effectue son grand retour en F1 après quinze ans d'absence. Face à Karl Kling et surtout au champion du monde Juan Manuel Fangio, Hans ne peut que s'incliner, mais cela ne l'empêche pas de réaliser de belles prestations.

Ainsi, lors de sa première course de F1, il réalise le tour le plus rapide en course. En suisse, il monte sur le podium, qui lui échappera lors de la course suivante en Italie. Il termine également troisième lors d'une course hors-championnat à Berlin. En 1955, sa carrière est interrompue par un accident lors des essais du Grand Prix de Monaco, il s'en sort avec des vertèbres cassées. Pendant sa convalescence, l'accident de Pierre Levegh au Mans pousse Mercedes à se retirer à l'issue de la saison. Hans aura tout de même le temps de triompher avec les flèches d'argent lors de la Targa Florio.

Le pilote allemand revient chez Porsche pour la saison 1956, et avec Von Trips, il remporte la victoire dans sa catégorie lors des 12 heures de Sebring. En 1957, il fait son retour en F1, d'abord à Syracuse, puis sur le Nürburgring, avec une Maserati 250F dont le moteur ne tiendra pas assez longtemps pour atteindre la ligne d'arrivée. En 1958, il court trois épreuves, mais sans grand succès, tandis que dans le même temps, il termine troisième des 24 heures du Mans. En 1959, il termine deuxième d'une épreuve de Formule 2, mais dans la catégorie supérieure, ça ne marche plus, d'autant que sur l'AVUS, il est victime d'un sérieux accident, mais s'en sort sans blessures graves. L'année suivante, il remporte deux épreuves majeures en voitures de sport : la Targa Florio, et les 12 heures de Sebring. A Monza, il réussit à amener sa Porsche dans les points. C'est avec Porsche qu'il court ses derniers Grands Prix de F1 en 1961, avant d'abandonner les courses de monoplaces, au profit des voitures de sport.

Au milieu de la saison 1962, Hans quitte l'équipe Porsche pour piloter une Abarth, avec laquelle, il remporte l'épreuve des 500 km du Nürburgring. Il récidive l'année suivante, et court également quelques courses de Formule 2. Il pilote pour Abarth jusqu'à la fin de la saison, avant de revenir chez Porsche, écurie avec laquelle il va remporter l'épreuve de Zeltweg en fin d'année. Il est présent lors du Grand Prix d'Allemagne 1966, mais avec une Formule 2 Brabham et termine quatrième de la catégorie. Il remporte une nouvelle victoire importante en 1968, les 12 heures de Sebring, et termine fréquemment sur le podium. En 1969, il est engagé pour disputer le Grand Prix d'Allemagne de F2, mais après l'accident mortel dont a été victime Gerhard Mitter, il décide de se retirer de la course. Et en 1970, avec le britannique Dick Attwood, il remporte enfin la mythique épreuve des 24 heures du Mans, c'est sa dernière apparition en compétition automobile.