Kristal fundó el bar CBGB en 1973 en lo que era entonces uno de los barrios bohemios y pobres de la ciudad. Bautizó el local con las siglas del tipo de música que inicialmente quería difundir: Country, BlueGrass y Blues .
El local sirvió de trampolín para bandas como los Ramones, Blondie y los Talking Heads.
Kristal nació en Manhattan, pero su padre se trasladó con su familia a Higtstown, Nueva Jersey, poco después. El se volvió un concertista en violín a la edad de 9 años. A finales de la década de 1950, Kristal cantaba en el coro de hombres en el Radio City Music Hall.
Luego se convirtió en el administrador del local de jazz de Manhattan Village Vanguard, que presentaba números como el del famoso trompetista Miles Davis. Posteriormente abrió un bar que servía sandwiches, como la hamburguesa Hilly , el que, después, se transformó en el CBGB.
Tuvo que cerrar el local por desacuerdos sobre el alquiler que pagaba al propietario de los muros.