Джо родился 15 июля 1956 года в Вестбери, штат Нью-Йорк, США, а вырос в небольшом городке Кейрл Плейс.
Помимо него в семье было еще четверо детей. Свое знакомство с музыкой он начал в 9 лет с барабанов, и сразу же стал брать уроки. Сначала у него была довольно своеобразная установка, которая состояла из кофейной банки и резинового пэда. Его отец придумал способ стимулировать обучение сына: когда Джо делал свое очередное задание и показывал, что он ответственный растущий музыкант, он получал что-то еще, например хай-хэт.