Nació en Milwaukee, Wisconsin. Llevó a cabo sus estudios en el Ripon College. Su vocación artística le llegó de manera fortuita, casi por azar, según él mismo contaba. Se preparaba la representación de una comedia por el cuadro escénico del colegio, cuando alguien sugirió que uno de los papeles podía serle asignado a él. Aceptó el ofrecimiento, y lo que comenzó como un pasatiempo, pasó a ser la gran pasión de su vida.
Inició su carrera teatral siendo muy joven, y ya en los años veinte se le consideraba una de las primeras figuras de Broadway. Obtuvo un resonante éxito en 1923 con la interpretación de A Royal Fandango , teniendo por compañera a la famosa Ethel Barrymore. Aunque en el resto de su vida triunfó brillantemente en el ámbito cinematográfico, nunca abandonó del todo la representación directa ante el público.
Requerido por los productores de Hollywood, en 1930 inició su actuación en películas y en pocos meses se sitúo entre las grandes figuras del firmamento cinematográfico, posición que conservó durante el resto de su vida. En 1937 recibió su primer Oscar por Capitanes intrépidos, cinta dirigida por Fleming. Posteriormente trabajo, entre otras muchas películas en La ciudad de los muchachos, El poder y la gloria, Treinta segundos sobre Tokio, La sétima cruz, Mar de hierba, La costilla de Adán, Fruto dorado, Edison el hombre, El padre de la novia, La conspiración del silencio y El viejo y el mar.
En el Festival Internacional Cinematográfico de Cannes, en 1955 fue seleccionado como el mejor actor estadounidense. Aunque físicamente disminuido por la enfermedad que le aquejaba, trabajó en El mundo está loco, loco, loco y en El huésped que viene a cenar , cuando le quedaban pocas semanas de vida. Falleció en Beverly Hills, California.
Escuchar