Nació en Omaha, Nebraska, de padres austriacos. Su verdadero nombre era Frederick Austerlitz. Tenía solamente cuatro años cuando su madre lo matriculó en una escuela de baile, con intención de que acompañara a su hermana mayor, Adele, con quien pronto formó una pareja de baile que triunfó ampliamente en Broadway. Cuando en 1932 Adele se casó y se retiró de los escenarios, Fred decidió cambiar las candilejas por los focos de los estudios, y un año después firmó contrato con la RKO e inició una auténtica "edad de oro" en la pantalla.
Junto a Ginger Rogers participó en Volando a Río, película que triunfó espléndidamente y motivó a los estudios a estimular que continuaran trabajando juntos. En las cintas siguientes pasaron a ser una de las parejas de baile más aclamadas de la historia. La alegre divorciada, Roberta, Sombrero de copa, Ritmo loco, significaron la consagración de ambos en todas las pantallas.
Separado profesionalmente de Rogers, pasó por un período de transición durante el cual bailó con diversas luminarias, entre ellas Eleanor Powell, Rita Hayworth, Judy Garland, Cyd Charisse y Audrey Hepburn.
Su segunda edad de oro fue de colaboración con el productor Arthur Freed y los mejores directores del género musical, para la Metro Goldwyn Mayer. Realizó películas que combinaban eficazmente una narración estilizada con cierto grado de humor y una coreografía elegante. En esta época de madurez, sin renunciar a su estilo sutil, extendió su creatividad a registros más modernos y colaboró con una nueva generación de coreógrafos, como Michel Kidd o Eugene Loring. En 1949 la Academia le otorgó un premio especial por toda su trayectoria artística.
Retirado oficialmente desde 1971, esporádicamente apareció en películas y series de televisión. Falleció en Los Ángeles.