L'aventure de Karl Kling en Formule 1 est indissociable de celle de Mercedes-Benz en tant que constructeur.

Il commence sa carrière très tardivement, en 1949, avec Veritas. Lors de la dernière épreuve de F2 de la saison, il termine deuxième, mais est disqualifié pour avoir été poussé au départ. En 1950, il remporte sa première victoire en F2 lors de la Solituderennen. En 1951, il ne court que dans deux épreuves de F2. En 1953, il rejoint Alfa Romeo et participe aux Mille Miglia et aux 24 Heures du Mans, sans toutefois parvenir à terminer les courses. La même année, il court la Carrera Panamericana avec Porsche, mais est là aussi contraint à l'abandon.

En F1 avec Mercedes

En 1954, Mercedes-Benz fait son retour en Formule 1 aux côtés de Juan Manuel Fangio, avec qui Karl Kling débute sa carrière. C'est au Grand Prix de France que la firme allemande débute la saison en fanfare, avec un doublé de Juan Manuel Fangio et de Karl Kling, qui ont tous deux dominé la course. Fangio a ralenti à la fin pour permettre une arrivée au coude à coude mémorable. Karl termine ainsi deuxième, à un dixième de l'Argentin. Lors du Grand Prix d'Allemagne, Karl réalise le meilleur tour en course, mais se contente de la quatrième place. Il remporte sa seule course de Formule 1, le Grand Prix de Berlin, hors championnat.

L'année suivante, après deux quatrièmes places en Formule 1, Karl participe à des épreuves de voitures de sport, dont les 24 Heures du Mans, marquées par l'accident de la Mercedes de Pierre Levegh. Lors du Grand Prix de Grande-Bretagne, il termine troisième, derrière le duo Moss-Fangio. Il décroche ensuite la deuxième place lors du Tourist Trophy et des Mille Miglia, avant le retrait de Mercedes à la fin de la saison, et le sien.

Karl Kling fera une apparition en 1996 sur le Nürburgring, puis en 2000, pour son 90e anniversaire.