Albert Scherrer commence sa carrière de pilote automobile après la Seconde Guerre mondiale. Il s'est rapidement distingué dans les courses de côte, une discipline très populaire en Suisse à cette époque. Au volant de sa Jaguar XK120, il a obtenu plusieurs podiums, notamment à Bremgarten et à Genève. Il était considéré comme l'un des pilotes suisses les plus populaires dans ce type de compétition.

L'événement le plus marquant de sa carrière est sa participation au Grand Prix de Suisse 1953, qui comptait pour le championnat du monde de Formule 1. Au volant de sa HWM, une voiture britannique peu compétitive face aux Ferrari et Maserati de l'époque, il se qualifie en 18e position. Sur le difficile circuit de Bremgarten, un tracé rapide et dangereux, Il termine la course à la neuvième place mais avec seize tours de retard.