Nació en Torrington, en familia de profundas convicciones religiosas. Pasó la niñez y adolescencia en Ohio, donde cobró conciencia del problema de la esclavitud. Entre 1825 y 1855 residió en Pensilvania, Massachusetts y Nueva York, ejerciendo diversos oficios. En todo lugar se opuso a los políticos que defendían el mantenimiento de una sociedad basada en el trabajo esclavo. Junto con su familia, en 1849 se estableció en una comunidad de negros, en North Elba, estado de Nueva York, en tierras donadas por el filántropo antiesclavista Gerrit Smith.
En 1855, cuando 5 de sus hijos establecidos en Kansas entraron en conflicto con terratenientes esclavistas, acudió a ayudarlos y llevó consigo un cargamento de armas y municiones; se asentó en Osawatomic y se convirtió en líder de las guerrillas proabolicionistas de la región.
Estimando imposible lograr la emancipación de los esclavos por medios pacíficos -lo que constituía el gran objetivo de su vida-, en 1856 lideró una expedición armada a Pottawatomic, campamento proesclavista, ahorcó a 5 de sus ocupantes, y se defendió afirmando que no solo estaba justificado el hecho, sino que incluso había sido inspirado por Dios. Dos años después organizó un encuentro interracial encaminado a fundar, en Maryland y en Virginia, una comunidad que acogiera a los esclavos fugitivos.
Convertido en portavoz del movimiento abolicionista, promulgó una Constitución que erradicaba la esclavitud y, estableciendo un estado dentro del Estado, se proclamó comandante en jefe. Organizó una banda e incursionó en Misuri; liberó a 11 esclavos y mató a un plantador, por lo que tuvo que huir al Canadá. Allí, junto a compañeros de ideales y apoyado por prominentes norteños, maduró el "plan de Virginia", que consistía en hacerse fuertes en las montañas y desde ellas incursionar en los establecimientos enemigos para dañarlos.
En octubre de 1859, con 21 hombres (5 de ellos negros), se apoderó por sorpresa del arsenal de Harper Ferry y tomó algunos rehenes. Dos días después, tras ver morir a dos de sus hijos y a 10 compañeros, fue capturado. Convicto de traición y asesinato, fue ahorcado en Virginia. Estos acontecimientos provocaron profunda conmoción en todo el país y posiblemente adelantaron la Guerra de Secesión.