« La grouille » fut l'un de ces nombreux pilotes qui, à la fin des années 1980, rêvaient de suivre les traces d'un certain Alain Prost.

Olivier est très vite passionné par la course automobile et après neuf saisons passées en Karting, il participe au volant Elf en 1981, et remporte le championnat de France de Formule Renault en 1982. Grimpant en F3, il ne lui faut que deux saisons pour remporter le championnat de France, sur une Martini-Alfa Roméo du team Oreca.

L'accession en F3000 n'en est que plus logique, et la saison 1985 s'achève sur une douzième place au classement final. Les deux saisons suivantes sont aussi décevantes pour Olivier, qui stagne dans les milieux de pelotons. L'envol a lieu en 1988, quand il termine deuxième du championnat de F3000 avec deux victoires, acquises au Mans et à Zolder. Dans le même temps, il participe au championnat du monde des voitures de tourisme sur une BMW M3 (aidé par un certain Jacques Laffite).

C'est alors qu'il est appelé pour remplacer Stefan Johansson chez Ligier, en vue la saison 1989. Il accepte, et débute ainsi sa carrière en F1.

Il domine allègrement son équipier René Arnoux, et parvient même à terminer sixième lors du Grand Prix de France. Il réalise de belles performances en qualifications, et se montre un adversaire redoutable à dépasser. Il ne se fera d'ailleurs pas que des amis chez les pilotes de pointe. La surprise est grande lorsqu'il est évincé de l'équipe Ligier. Il ne peut alors se rabattre que sur un des derniers baquets libres : celui de l'Osella.

L'année 1990 commence de manière superbe pour le Toulousain, puisqu'il accroche une magnifique huitième place sur la grille de départ du grand prix des Etats-Unis. Un autre exploit est de voir Olivier et son Osella au départ d'un grand prix à neuf reprises cette saison. Mais la lenteur de la voiture l'empêche de faire un résultat.

C'est encore pire en 1991, Olivier ne parvenant à hisser sa Fondmetal qu'à quatre reprises sur la grille de départ d'un Grand Prix. Le bref passage de la Fomet à l'AGS ne change rien.

Mais Olivier parvient néanmoins à trouver un volant pour l'année suivante chez Tyrrell. Mais l'équipe n'est plus que l'ombre d'elle-même, et Olivier ne parvient pas à inscrire le moindre point. La faute à une fiabilité médiocre, et à pas mal d'erreurs de pilotage. Il n'en faut pas plus pour condamner Olivier Grouillard à quitter la F1.

Par la suite, il fera une brève incursion dans le championnat IndyCar en 1993, avant de courir en GT, et en sport prototypes. Dans cette catégorie, il termine notamment quatrième des 24 heures du Mans 2000 en compagnie de Sébastien Bourdais et Emmanuel Clérico.