Nacido en Brooklyn (Nueva York) en 1958, Schiavelli debutó en el cine en 1971 con el filme T aking Off , del director de origen checo Milos Forman, quien contó con él para buena parte de sus proyectos.
Fue con este realizador con el que interpretó algunos de sus papeles más aplaudidos, como el del lunático Frederickson en One Flew Over the Cuckoos Nest (1975) o el criado de Salieri en Amadeus (1984), además de aparecer en cintas como Valmont (1989), The People vs. Larry Flint (1996) o Man on the Moon (1999).
Con una altura de 1.96 metros y un rostro que podía transformarse en una máscara lúgubre, Schiavelli encarnó a secundarios inolvidables, como en Ghost (1990), filme en que era el voluble fantasma del metro de Nueva York que ayudaba al personaje de Patrick Swayze a manejarse en el mundo material.
El actor interpretó más de un centenar de personajes en cine y televisión, con apariciones en series que fueron desde Starsky & Hutch a Miami Vice o The X Files .
Estuvo casado en dos ocasion es, la primera con la actriz Allyce Beasley, de la que se divorció en 1988 después de tres años de matrimonio, y luego con la arpista Carol Mukhalian.
El año pasado decidió trasladarse a Polizzi Generosa.