Nació en Rohrau, Austria, en familia humilde. Recibió sus primeras lecciones de su padre, quien, después de la jornada laboral, cantaba acompañándose al arpa. Dotado de una hermosa voz, a los seis años fue enviado a Hainburg, y en 1740 a Viena, donde ingresó en el coro de la catedral de San Esteban y tuvo oportunidad de perfeccionar sus conocimientos musicales. Allí permaneció hasta el cambio de voz, momento en que, tras un breve periodo como asistente del compositor Nicola Porpora, pasó a ser maestro de capilla en la residencia del conde Morzin, para quien compuso sus primeras sinfonías.
En 1761 se produjo un giro decisivo en su carrera ya que los príncipes de Esterházy lo tomaron a su servicio y pusieron a su disposición una de las mejores orquesta de Europa; para este conjunto musical, Haydn compuso la mayor parte de sus obras orquestales, operísticas y religiosas.
El fallecimiento en 1790 del príncipe Estehazy y la decisión de su sucesor de disolver la orquesta, motivó que Haydn, aun sin abandonar el cargo de maestro de capilla, se trasladara a Viena y, por medición del empresario J.P.Salomon, realizara dos viajes a Londres. En esa capital, además de dar a conocer sus doce últimas sinfonías, tuvo ocasión de escuchar los oratorios de Haendel, cuya influencia se percibe en sus composiciones siguientes, La Creación y Las estaciones , obras que representan el momento culminante de su madurez artística y creativa.
Nuevamente reclamado por el príncipe Esterhazy, para él compuso sus 6 últimas misas, entre ellas la Misa Nelson y la Misa María Teresa . Gozando de general respeto y reconocimiento, pasó sus últimos años en Viena, donde falleció.