Nació en Friedberg, Alemania. A la edad de 16 años entró de aprendiz en una importante firma de expertos en joyería, donde sobresalió por la rapidez con que aprendió a clasificar y trabajar diamantes. Como representante de dicho establecimiento, en 1902 se trasladó a África del Sur y se estableció en Kimberley, ciudad de la que fue nombrado alcalde en 1912.
Los territorios sudafricanos atravesaban un difícil momento a consecuencia de los trastornos producidos por la guerra bóer. Este conflicto bélico enfrentó a los descendientes de los colonos holandeses establecidos en El Cabo desde 1652, con los ingleses, que tomaron bajo su protección la colonia en 1795 -en plena época de expansión y consolidación de la política imperial británica- atraídos por las minas de diamantes descubiertas en el Transvaal.
"La situación no era nada fácil para un alemán aventurero , mas Oppenheimer se había propuesto acumular una fortuna, aun cuando no fuera muy estimable, y la consiguió con creces gracias a la explotación de diamantes", explica un biógrafo. Consiguió financiación para su proyecto de crear una gran industria del diamante, fundó la Sociedad Angloamericana de África del Sur -que abarcaba una enorme extensión de terreno- y la Corporación del Diamante, y, sin limitar su actividad a las piedras preciosas, se interesó también en extracción de oro. Durante la depresión organizó una filial de su gran empresa en Rhodesia e invirtió 19 millones de dólares en acaparar el mercado; cuando vinieron buenos tiempos , con esta operación obtuvo ganancias por 40 millones de dólares.
Al terminar la segunda guerra mundial , Gran Bretaña, agradecida por el apoyo prestado durante el conflicto y a su producción de riqueza, lo nombró c aballero y lo condecoró. En 1952, la Universidad de Oxford lo nombró doctor honoris causa . No obstante, Oppenheimer mantuvo siempre la nacionalidad alemana.
En los últimos años de su vida se dedicó, con cierto espíritu filantrópico, a prestar apoyo económico a instituciones universitarias del Reino Unido. Falleció en Johanesburgo. El imperio por él creado pasó a manos de su hijo Harry.