Карнеги Холл был построен в 1891 году по проекту архитектора Уильяма Татхилла. Официальное открытие состоялось 5-го мая; выступал Нью-Йоркский симфонический оркестр, которым поочередно дирижировали Вальтер Дамрош и Пётр Ильич Чайковский.
Зал назван в честь предпринимателя и филантропа Эндрю Карнеги, который профинансировал строительство здания. Холл принадлежал семье Карнеги до 1925 года, когда вдова Эндрю продала здание застройщику Роберту Симону. В 1950-ые его сын, Роберт Симон младший, предложил Нью-Йоркскому симфоническому оркестру выкупить здание, поскольку именно он (оркестр) играл большинство концертов за год. Оркестр отказался — через несколько лет он должен был переехать в новый, специально построенный для него Линкольн Центр.
В то же время, мэрия Нью-Йорка не хотела покупать здание, так как не могла содержать сразу две больших концертных площадки. Понимая, что с переездом оркестра зал будет пустовать и перестанет приносить прибыль, Роберт Симон решил продать его. Покупатель нашёлся достаточно скоро — один из застройщиков предлагал снести Карнеги Холл в 1957 году (год окончания строительства Линкольн Центра) и построить на его месте небоскрёб. Симон согласился. Казалось, судьба известнейшего концертного зала решена.
Узнав об этой сделке, музыканты Нью-Йоркского симфонического оркестра решили отстоять горячо любимый ими зал, в котором они провели не одно десятилетие. Скрипач Айзек Стерн создал комитет по спасению Карнеги Холл от сноса. Развернулась большая общественная кампания, всё культурное сообщество давило на власти Нью-Йорка, объясняя всю ценность и уникальность этого сооружения.
Под общественным давлением сделка была приостановлена. А в 1960 году мэрия выкупила здание у Симона за 5 миллионов долларов. Тогда же была создана некоммерческая организация «Карнеги Холл», призванная управлять концертным залом. Айзек Стерн был избран президентом организации и оставался на этом посту до конца своих дней. В 2001 году Айзек умер от сердечного приступа.
С тех пор главный зал Карнеги Холл носит его имя — Stern Auditorium.