Джо Пасс, сын Мариано Пассалаква, сицилийского работника металлургического завода, вырос в Джонстауне в немузыкальной семье. Играть на гитаре он начал под воздействием образа ковбоя-гитариста в исполнении актёра Джина Отри. Первую гитару стоимостью 17 $ ему подарили на день рождения в девять лет. Его отец рано разглядел в своём сыне талант, необычное видение музыки и абсолютный слух.
Уже в 14 лет Пасс начал давать концерты. Он играл в биг-бэндах Тони Пастора и Чарли Бэрнета, оттачивая своё мастерство игры на гитаре и изучая музыкальный бизнес. Джо начал путешествовать с небольшими джазовыми ансамблями и в итоге осел в Нью-Йорке. Через несколько лет он попал в зависимость от наркотиков и провел почти все 1950-е в относительной неизвестности. Во время лечения от наркотической зависимости в калифорнийской лечебнице Synanon он вернулся к игре. В 1962 году он записал альбом «The Sounds of Synanon».
Пасс записал серию альбомов в 1960-е годы для студии «Pacific Jazz», в их числе классические «Catch Me», «12-String Guitar», «For Django» и «Simplicity». В 1963 году получил премию «New star award» журнала «Downbeat». В эти годы он также принимал участие в записях с Джеральдом Вилсоном, Бадом Шанком и Лесом Макканом на студии «Pacific Jazz Records». В 1965 году Пасс давал концерты вместе с Джорджем Ширингом и активно занимался работой на телевидении и радио в Лос-Анджелесе.
Пасс работал с Луи Бэлсоном, Фрэнком Синатрой, Сарой Воэн, Джо Уильямсом[уточнить], Деллой Риз, Джонни Мэтисом и выступал в таких телешоу как «The Tonight Show Starring Johnny Carson», «The Merv Griffin Show», «The Steve Allen Show» и других. В начале 1970-х Джо Пасс вместе с гитаристом Хербом Эллисом регулярно давали концерты в клубе «Donte’s jazz club» в Лос-Анджелесе. Плодом этой совместной работы стал самый первый альбом студии «Concord Jazz», названный в её честь «Jazz/Concord». В начале 1970-х Пасс стал соавтором ряда книг о музыке, а также написал свою книгу об импровизации «Joe Pass Guitar Style», которая по сей день считается одним из лучших пособий для желающих научиться джазовой технике игры на гитаре.
Норман Гранц, владелец и основатель студии Verve Records, предложил Пассу записываться на своей новой студии «Pablo Records», и в 1974 году Пасс выпустил там свой легендарный сольный альбом «Virtuoso». В том же году студия выпустила альбом «The Trio» с Джо Пассом, Оскаром Питерсоном и Нильсом-Хенингом Орстед Пидерсеном, получивший премию Грэмми за лучший альбом в исполнении джазового ансамбля. В качестве постоянного студийного музыканта «Pablo Records» Пасс записывался с Бэнни Картером, Мильтом Джексоном, Хербом Эллисом, Зутом Симсом, Дюком Эллингтоном, Диззи Гиллеспи, Эллой Фицджеральд, Каунтом Бэйси и другими.
Пасс и Элла Фидцжеральд записали 4 совместных альбома. Раньше она предпочитала записываться только под аккомпанемент фортепиано, но блистательные аккомпаниаторские способности Джо Пасса создали замечательный мелодический контраст для её голоса. Этот блистательный дуэт можно услышать на альбомах «Take Love Easy», «Easy Living», «Speak Love» и «Fitzgerald and Pass… Again».