Hermann Lang commence sur deux roues et remporte deux titres de champion d'Allemagne en 1930 et 1931.

En 1933, il est engagé par Mercedes-Benz comme mécanicien et travaille sur la voiture de Luigi Fagioli en 1934. L'année suivante, ses supérieurs lui donnent sa chance en tant que pilote de l'une de leurs monoplaces, marquant le début d'une belle carrière pour l'Allemand, qui obtient un poste de titulaire en 1937. Cette année-là, il remporte sa première victoire sur le circuit de Tripoli, puis s'impose lors de l'Avusrennen. Il monte également sur le podium des Grands Prix de Belgique, de Suisse et d'Italie, comptant pour le championnat d'Europe des conducteurs de l'AIACR.

En 1938, il s'impose de nouveau à Tripoli, puis, en 1939, il triomphe à Pau et à Tripoli, s'impose lors de l'Eifelrennen et remporte les Grands Prix de Belgique et de Suisse, ce qui lui permet de se hisser à la première place du championnat de l'AIACR. Mais la saison est interrompue par le déclenchement de la Seconde Guerre mondiale et les autorités sportives n'ont jamais officiellement désigné de champion pour cette saison.

Après la guerre, il reprend la compétition d'abord en Formule 2, d'abord sur une AFM en 1949, puis sur une Veritas Meteor en 1950, terminant deuxième de la Solituderennen cette année-là. En 1951, il court à nouveau pour Mercedes en Amérique du Sud et termine deuxième de la Coupe Perón et troisième de la Coupe Eva Perón. En 1952, associé à Fritz Riess, il mène sa Flèche d'argent à la victoire lors de la mythique épreuve des 24 Heures du Mans.

En 1953, à l'âge de 44 ans, il participe à sa première course de Formule 1. Lors du Grand Prix de Suisse, il est au volant d'une Maserati A6GCM d'usine et parvient à terminer cinquième de la course, marquant ainsi deux points. L'année suivante, Mercedes fait son retour en F1 et il participe au Grand Prix d'Allemagne sur le Nürburgring. Au volant de la W196, il s'élance de la onzième position et se retrouve deuxième, luttant contre son coéquipier et compatriote Karl Kling. Cependant, à mi-course, il est victime d'un tête-à-queue et doit abandonner. Cet abandon le convainc qu'il est temps de se retirer.

Il occupe alors un poste de responsable du service clientèle chez Daimler-Benz, fonction qu'il occupe jusqu'à sa retraite. Il reste un ambassadeur de la marque et participe à des manifestations historiques, des démonstrations et des réunions de voitures anciennes, où il prend parfois le volant des célèbres « Flèches d'Argent ». On le voit encore conduire des Mercedes historiques jusque dans les années 1980.