Nació en Briansk. Su nombre verdadero era Naum Pevsner; adoptó el de Gabo para diferenciarse de su hermano Anton, también artista, que conservó el de Pevsner. Pese a ser hermanos, sus épocas y lugares de aprendizaje, sus andanzas y viajes, incluso sus afiliaciones estéticas fueron muy diversas. Gabo estudió matemáticas e ingeniería en Munich y en Oslo, y se relacionó con Kandinsky y Archipenko. En Moscú, en 1919, ambos hermanos firmaron el Manifiesto del Constructivismo, y aunque se separaron en 1923, continuaron realizando el mismo concepto estético. De acuerdo a sus dictados, la materia deberá ser tratada de modo que envuelva la mayor cantidad de espacio posible y posea capacidad de girar, rotar, y desdoblarse, cometidos imposible de lograr trabajando los materiales tradicionales de la escultura (mármol, piedra, hierro, bronce). Fue así como, con celuloide primero, nylon después, y otros plásticos y acetatos, los dos hermanos cada uno por su lado, pero en unidad de acción crearon formas de maravillosa flexibilidad y gran posibilidad espacial.
Gabo comenzó a trabajar dentro de la tendencia cubista, y en París, en 1913, se unió a los vanguardistas. En la Unión Soviética desarrolló el constructivismo geométrico, inicialmente anárquico, pero que fue sometiendo progresivamente al elemento matemático. Para él, la vida se expresa a través del tiempo y el espacio; así sus esculturas poseen una línea rítmica y a veces móvil, en contraposición al estatismo de la escultura tradicional. Por ese camino llegó a la creación de sus construcciones transparentes, justificadas sobre la base de relaciones numéricas.
Con cristal, metal y plástico, en Alemania realizó la famosa Columna. A partir de 1946 vivió en Estados Unidos, y adquirió la nacionalidad. Allí creó una de sus obras más sobresalientes: un monumento en forma de árbol, para el edificio Bijenkorf de Rotterdam, que conmemora a los caídos de la ciudad durante los bombardeos alemanes de 1940. Falleció en Middlebury, Reino Unido. Había escrito Circle , obra que contiene sus textos teóricos y notas sobre el constructivismo.