Билли еще в четыре года научился играть на фортепиано, а в подростковом возрасте его музыкальные вкусы сформировали такие группы как The Beatles и The Four Seasons. Однако в тот момент он еще не помышлял стать музыкантом, а занимался боксом (из-за того, что над ним постоянно издевался его собственный отец). Но карьера профессионального спортсмена не задалась, и Джоэл вернулся к фортепиано. Поиграв в местечковых группах, Билли решил заняться сольной карьерой, однако первый блин вышел комом - дебютный альбом Cold Spring Harbor (1971) не привлек никакого внимания публики. Пианист рук не опустил и в 1973 году выдал вторую пластинку, которую и назвал Piano Man. Софт-роковая работа пришлась по вкусу слушателю и взобралась на 27 строчку в чартах, и со временем разошлась тиражем более чем в 4 миллиона экземпляров. После релиза за Билли закрепилось прозвище "Piano Man". В 1974 году выходит третий релиз Streetlife Serenade, который по признанию критиков был чуть хуже предшественника, но в ТОП-40 попал и добрался до платинового статуса. В главном хите с альбома The Entertainer Билли достаточно едко проехался по музыкальной индустрии.
В 1976 году музыкант выпускает Turnstiles, который проваливается даже несмотря на наличие песни New York State of Mind, ставшей фактически негласным гимном Нью-Йорка. Но уже в 1977 году Джоэл реабилитируется и покоряет чарты по всему миру с пластинкой The Stranger. С годами продажи альбома переваливают за десять миллионов, сам музыкант получает премию Грэмми. В 1978 году выходит 52nd Street, на котором чувствуется джазовое влияние. Пластинка также имела огромный успех и возглавила Billboard. В новое десятилетие пианист входит с альбомом Glass Houses (1980). В ведущем сингле It's Still Rock and Roll to Me Билли в свойственной ему манере отвечает на все новомодные в тот момент тенденции в музыкальном бизнесе. Как и его предшественник, Glass Houses покоряет чарты по всему миру, а сам музыкант вновь удостаивается статуэтке Грэмми. В 1982 году выходит концептуальный The Nylon Curtain, который оказывается менее успешным в коммерческом плане, но высоко оцененный музыкальными критиками. В 1983 году выходит An Innocent Man, на котором музыкант отдал дань уважения тем, на чьей музыке он рос. Пластинка становится большим международным хитом и продажи вновь взлетают до небес.
В 1986 году Билли вновь экспериментирует со звучанием и выпускает The Bridge, на котором можно услышать как джазовые нотки, так и new wave. Альбом также содержит одну из самых известных вещей музыканта - A Matter of Trust. В 1987 году Билли в рамках международного тура посещает СССР, дает концерты в Ленинграде, Москве и Тбилиси и даже появляется на "Музыкальном ринге". В 1989 году выходит Storm Front, на которой нашлось место синглу Leningrad, рассказывающему о русском клоуне Викторе Разинове, которым жизнь свела музыканта входе тура по СССР. Сам же студийный альбом возглавил американский чарт и стал мультиплатиновым. В 1993 году вышел River of Dreams, который вновь обретает коммерческий успех, но после его выхода Билли концентрируется на классической музыке и концертной деятельности. В 1999 году Билли внесли в зал славы рок-н-ролла, а в 2001 году вышел альбом классической музыки Fantasies & Delusions.