Свою музыкальную карьеру он начал в Западной Германии в группе «Orgasm Death Gimmick», сбежав из ГДР в 1989 году. После объединения Германии он вернулся на родину в город Шверин. Круспе, поклонник Kiss, искал возможности соединить любимый им хард-рок с электронным звучанием индастриала. В это время он познакомился с Оливером Риделем (бас-гитара) и Кристофом Шнайдером (ударные), позднее с Тиллем Линдеманном, игравшими в различных панк-рок-группах.