Джо Морелло родился 17 июля 1928 года в Спрингфилде, штат Массачусетс. Имея слабое с рождения зрение, он посвятил себя занятиям, которыми можно заниматься не выходя из дома. В возрасте шести лет благодаря поддержке семьи он начал учиться игре на скрипке. Три года спустя он выступал с Бостонским симфоническим оркестром в качестве солиста в скрипичном концерте Мендельсона. В возрасте двенадцати лет он выступил с оркестром во второй раз. Но, встретив и услышав живьем своего кумира, великого Яшу Хейфеца, Джо понял, что никогда не сможет добиться "такого звука". Поэтому в пятнадцать лет Джо резко поменял род занятий и начал изучать ударные.
Первый учитель Джо по ударным, Джо Сефчик, был востребованным барабанщиком в районе Спрингфилда. Он был отличным учителем и всячески поощрял Джо. Джо начал играть во всех группа, где только можно. Когда он не играл в группе, то вместе с друзьями устраивал джемы в любом месте, которое мог найти. Джо играл везде, куда его звали. В результате его музыкальный опыт варьировался от рудиментарной игры в армии до свадеб и светских раутов. В конце концов Сефчик решил, что Джо пора двигаться дальше. Он порекомендовал ему учителя в Бостоне, великого Джорджа Лоуренса Стоуна.
Стоун сделал для Джо многое. Он дал Джо большинство инструментов для развития техники. Он научил Джо читать ноты. Но самое главное, дал Джо понять, что его будущее принадлежит джазу. Благодаря занятиям со Стоуном Джо стал известен как лучший барабанщик в Спрингфилде и чемпион Новой Англии по рудиментарной игре.
Игровая активность Джо росла, и вскоре он уже гастролировал с несколькими группами. Сначала был Хэнк Гарланд и Grand Old Opry, а затем Уайти Бернард. После долгих раздумий Джо покинул Whitey Bernard и отправился в Нью-Йорк.
Последовал трудный год, но благодаря решимости Джо и помощи таких друзей, как Сэл Сальвадор, Джо начали замечать и приглашать. Вскоре он стал играть с внушительным составом музыкантов, в который входили Гил Мелле, Джонни Смит, Тал Фарлоу, Джимми Рэйни, Стэн Кентон и Мэриан МакПартленд. После ухода из трио Мэриан МакПартланд он отклонил предложения от группы Бенни Гудмена и группы Томми Дорси. Предложение, которое он решил принять, было двухмесячным турне с квартетом Дэйва Брубека. Это сотрудничество в итоге продлилось двенадцать с половиной лет. Именно в этот период техника Джо была отполирована не без участия Билли Гладстоуна.
С 1968 года, когда распался квартет Дэйва Брубека, Джо применяет свои таланты в самых разных областях. Он ведет активную частную преподавательскую практику. Благодаря сотрудничеству с DW Drums, Джо внес большой вклад в развитие барабанного искусства в частности, а также джаза вообще, проводя клиники, лекции и выступая сольно и в составе трио вместе с Дорин Грей (фортепиано) и Нейтой Линхардта (бас).
Джо записал более 120 альбомов и компакт-дисков, из которых 60 с квартетом Дэйва Брубека. Он пять лет подряд получал награду журнала Downbeat как лучший барабанщик, семь лет подряд награду журнала Playboy, и является единственным барабанщиком, который пять лет подряд побеждал во всех музыкальных опросах, включая Японию, Англию, Европу, Австралию и Южную Америку. Он упомянут в "Голубой книге", которая представляет собой список лиц в Великобритании, Ирландии, Канаде, Австралии, Новой Зеландии и США, достигших выдающихся успехов в искусстве, науке, бизнесе или профессии. Почитаемый как поклонниками, так и музыкантами, Джо считается одним из лучших и, вероятно, одним из самых знаменитых барабанщиков в истории джаза.
12 марта 2011 г Джо Морелло скончался в больнице. Ему было 82 года, и у него были проблемы с сердцем.