Nació en Wisznewo, Lituania (entonces parte del imperio de Rusia). Cuando tenía cinco años su familia se instaló en Alemania; allí se formó culturalmente y obtuvo el doctorado en Derecho por la Universidad de Heidelberg. Durante la primera guerra mundial, aunque continuaba siendo ciudadano ruso, luchó al lado de los ejércitos del kaiser, para evidenciar su oposición al movimiento antisemita que imperaba en Moscú. Ya para esa época se había integrado al movimiento mundial sionista fundado por el doctor Teodoro Herzl con el propósito de crear un "hogar judío en Palestina". En Alemania, junto a Jacob Klatzdin, Goldman llevó a cabo una gran obra cultural: la Enciclopedia Judaica , en 16 volúmenes. En 1933, ante el triunfo del nacionalsocialismo que con Hitler a la cabeza se proponía el exterminio de los judíos, obtuvo la ciudadanía hondureña.
En 1936 figuró entre los fundadores del Congreso Judío Mundial, organismo que presidió de 1956 a 1977. Durante la Segunda Guerra Mundial organizó brigadas de judíos para que lucharan al lado de los aliados. En 1952 inició negociaciones con el canciller Adenauer, a fin de que Alemania reparase el daño que habían causado los nazis al pueblo judío; los logros que obtuvo en estas gestiones favorecieron el despegue de la economía israelí. Obtuvo la ciudadanía israelí en 1962.
Formado en el espíritu liberal y universalista de la Diáspora, se opuso al expansionismo manifestado con la guerra de los Seis Días, y no quiso presentar nuevamente su candidatura para la presidencia de la Organización Sionista Mundial. Declaró entonces que "los dirigentes israelíes le molestaban por su provincianismo y pequeñez de espíritu". Y, habiendo abandonado Israel en 1968, adoptó la nacionalidad suiza.
Su inconformismo se agudizó en 1970, cuando Golda Meir le prohibió visitar al líder egipcio Nasser. Partidario de encaminar todos los esfuerzos políticos y diplomáticos a lograr un acuerdo entre árabes e israelíes, se mostró dispuesto a negociar con Arafat; el único requisito que pedía a los árabes era que reconociesen al Estado de Israel. Falleció en Munich. Un periodista dijo entonces que "los árabes lo habían comprendido mejor que los suyos".