Entre 1950 et 1960, les 500 Miles d'Indianapolis étaient considérés comme une épreuve de Formule 1. Troy Ruttman y a ainsi décroché un record qu'il détient toujours.

En 1945, il étonne par son talent et sa jeunesse. Il dispute en effet sa première course à l'âge de quinze ans, engageant le roadster familial dans une épreuve qu'il remporte. Cette même année, il remporte dix-neuf courses sur les vingt-et-une auxquelles il participe. En 1947, il remporte le titre californien en roadster. L'année suivante, il ne conserve pas son titre, mais remporte tout de même vingt-trois courses de midgets. En 1949, il fait son entrée dans le championnat national AAA et participe pour la première fois aux 500 Miles d'Indianapolis.

L'année suivante, les 500 Miles font partie du championnat du monde de Formule 1. Troy ne réalise pas d'exploit et termine quinzième. Cette même année, il remporte la course de Williams Grove, qui ne fait pas partie du championnat AAA. En 1951, il se qualifie en sixième position sur la grille de départ des 500 Miles, mais sa mécanique le lâche trop tôt. Il remporte également, pour la seconde fois, la course de Williams Grove.

C'est en 1952 qu'il accède à la gloire lors des 500 Miles. Parti en septième position sur la grille de départ, il se hisse dans le peloton de tête et, dès le douzième tour, il prend la tête de la course. Il doit ensuite lutter contre l'impressionnant Bill Vukovich, favori de la course, jusqu'à ce que celui-ci commette une erreur et laisse la victoire à Troy Ruttman, âgé de vingt-deux ans et quatre-vingt jours. Ce record de jeunesse ne sera battu que 51 ans plus tard en Formule 1 par Fernando Alonso (Hongrie, 2003), et il tient toujours sur le Brickyard. Un mois plus tard, il remporte une autre course comptant pour le championnat en Caroline du Nord. Il aura également couru dans plus de cinquante courses de Midgets, avec seize victoires. Mais en août, il est victime d'un grave accident de sprint car à Cedar Rapids. Une défaillance de la direction provoque une sortie de piste très violente dont il ressort avec une grave fracture du bras droit, ce qui l'éloigne des circuits pendant environ un an et demi.

Il effectue son retour à la compétition en 1954 et termine quatrième à Indianapolis, après que Duane Carter a repris sa voiture.

En juin 1957, il participe à la première Course des deux mondes (ou 500 Miglia di Monza), organisée sur l'anneau de vitesse de Monza. Cette épreuve spectaculaire avait pour ambition de confronter les meilleurs pilotes et voitures américaines de type Indianapolis aux équipes européennes de Formule 1 et de voitures de sport. La course se disputait en trois manches de 63 tours. Au volant d'une Watson-Offenhauser de l'écurie John Zink, Ruttman fait preuve d'une remarquable régularité. Après avoir terminé cinquième de la première manche, il se classe deuxième de la deuxième manche, puis remporte la troisième.

L'année 1958 marque une étape importante dans sa carrière, puisqu'il choisit alors de se mesurer aux pilotes européens sur des circuits routiers traditionnels. Il participe au championnat du monde de Formule 1 avec l'écurie privée italienne Scuderia Centro Sud, au volant d'une Maserati 250F. Lors du Grand Prix de France, disputé sur le circuit de Reims-Gueux, il réalise une course prudente et parvient à rallier l'arrivée à la dixième place, à cinq tours du vainqueur. On le voit ensuite lors du Grand Prix d'Allemagne, mais son moteur est victime d'une panne irréparable lors des essais, ce qui écourte son week-end.

Après cette brève parenthèse européenne, il retourne aux Etats-Unis pour se consacrer à nouveau exclusivement aux championnats nord-américains. Il continue de prendre le départ des 500 miles d'Indianapolis au début des années 1960. Il reste également actif dans les épreuves nationales de Sprint Car et de Midget. À l'issue de l'édition 1964 des 500 miles d'Indianapolis, qu'il abandonne à la suite d'une perte de contrôle de sa voiture, il annonce sa retraite sportive définitive.