1984 году двумя бывшими членами австралийского коллектива The Birthday Party, вокалистом, поэтом и клавишником Ником Кейвом и мульти-инструменталистом Миком Харви . Чуть позже к ним присоединились член немецкого индастриал-коллектива Einstürzende Neubauten Бликса Баргельд (гитара), Хьюго Рейс (гитара) и басист панк-команды Magazine Барри Адамсон.