En 1906 viajó a Palestina, entró en contacto con los activistas sionistas y llegó a ser uno de los máximos impulsores de tal doctrina. Fue miembro fundador de la organización Trabajadores de Sion, de tendencia socialista, y su presidente; como tal, facilitó el desarrollo de las primeras colonias agrícolas.
Entre 1912 y 1914 residió en Estambul y cursó estudios de derecho. De nuevo en Palestina, fue expulsado por las autoridades turcas que en esa época controlaban la región. Obligado a exiliarse, viajó a Estados Unidos y colaboró en la organización del movimiento sionista local. Ingresó en la organización Legión Judía, con la que emprendió, protegido por las autoridades militares británicas, el regreso a Palestina en 1918.
A partir de entonces centró sus esfuerzos en la fundación y consolidación del Mapai, primer partido político laborista; fue secretario general de la Histadrutj, la Federación General de Trabajadores de Israel, entre 1921 y 1935. En esta última fecha fue elegido presidente del ejecutivo sionista, cuyo objetivo fundamental era la creación de un Estado judío en Palestina. Con ese objetivo fueron creadas la Haganah, el Stern y el Irgun Zvai Leumi, ejércitos y organizaciones clandestinas que emplearon el terrorismo contra árabes y británicos, y favorecieron las emigraciones clandestinas de judíos a la zona.
La resolución de la ONU de 1947 recomendó la creación del Estado de Israel y significó el espaldarazo definitivo a la labor de toda la vida de Ben Gurión.
Cuando, en 1948, el gobierno provisional proclamó la creación del Estado de Israel, Ben Gurión fue nombrado primer ministro y ministro de Defensa. Se mantuvo en el poder hasta 1953, año en que se retiró a una colonia agrícola. Nuevamente en actividades políticas, de 1955 a 1963 fue otra vez primer ministro . Durante este segundo mandato dirigió la guerra árabe-israelí de 1956. Todavía en 1973, cuando tenía 87 años, se pensó en él para que formase un gobierno de coalición, en vista de las dificultades políticas y electorales que atravesaba el país; pero falleció pocos días después.
Escuchar