Gerhard Mitter était avant tout un pilote de voitures de sport. Il ne fit que quelques apparitions en F1, principalement sur le Nürburgring.

Il commence par la Formule 3 en 1960 et termine la saison avec le titre de champion d'Allemagne. Au début de la décennie, il court en Formule Junior avec une DKW-Lotus.

En 1963, il participe à sa première course de Formule 1 aux Pays-Bas avec une Porsche 718 de l'écurie Maarsbergen. Qualifié en 16e position, il ne fait que deux tours avant d'être contraint d'abandonner à cause d'un embrayage défaillant. Malgré une voiture âgée de quelques années, Gerhard réussit à terminer cinquième à Solitude lors d'une course hors championnat. Une semaine plus tard, sur l'ancien Nürburgring, il termine quatrième du Grand Prix d'Allemagne.

En 1964, il est engagé par Porsche pour disputer des courses de voitures de sport. Il reçoit une nouvelle invitation pour courir le Grand Prix d'Allemagne avec une Lotus, qu'il termine à la neuvième place. En 1965, il termine deuxième de la Targa Florio et des 500 km du Nürburgring dans des courses de voitures de sport. Il participe à nouveau au Grand Prix de Formule 1 lors du Grand Prix d'Allemagne qui se termine par un abandon.

En 1966, il est victime d'un accident lors des essais de la course de Spa-Francorchamps. Il ne peut participer au Grand Prix d'Allemagne sur une F2, mais il remporte deux succès en voitures de sport, sur les circuits d'Hockenheim et du Zeltweg, en fin de saison. Il remporte également le premier de ses trois championnats européens consécutifs de courses de côte. En 1967, il termine troisième à Sebring et à Monza, tandis qu'il est contraint d'abandonner lors du Grand Prix d'Allemagne sur une F2. En 1968, il termine deuxième du BOAC 500 et des 1000 km de Spa-Francorchamps. Enfin, en 1969, il remporte la Targa Florio.

Il hérite d'une Formule 2 BMW pour participer au Grand Prix d'Allemagne, le 1er août 1969. Pendant les essais, Gerhard est victime d'un terrible accident après avoir perdu une roue. Il n'y survivra pas, succombant à ses blessures à l'âge de 33 ans.