Постановлением правительства СССР от 5 октября 1951 года ОКБ Яковлева было поручено создание 24-местного вертолёта продольной схемы с двигателями АШ-82. Была образована конструкторская группа в составе Николая Кирилловича Скржинского, Петра Дмитриевича Самсонова, Георгия Ивановича Огаркова, Сергея Арсеньевича Бемова, Леона Михайловича Шехтера, Игоря Александровича Эрлиха. Через два с небольшим месяца макетная комиссия под председательством маршала авиации Н.С. Скрипко рассмотрела и одобрила макет и эскизный проект машины. Конструктивно вся несущая система (лопасти, главные редукторы) и силовая установка была взята от вертолёта Ми-4. Выполнен вертолёт по двухвинтовой продольной схеме, был оснащён двумя поршневыми двигателями АШ-82В мощностью 1268 кВт.
В январе 1952 года с целью налаживания производства опытных вертолетов Як-24 на заводе № 272 в Ленинград был командирован И.А. Эрлих. Изготовленные там две машины были предназначены для статических и динамических (ресурсных) испытаний; две другие железнодорожным транспортом были доставлены в Москву для проведения лётных испытаний.
3 июля 1952 года С. Г. Бровцев впервые поднял машину в воздух. На двух вертолётах было выполнено 142 полёта. Основной проблемой оказалась вибрация, для устранения которой по предложению руководителя научно-исследовательского отдела К. С. Кильдишевой на 50 сантиметров были укорочены лопасти; проблема частично устранилась, и 15 ноября 1952 года принято решение завершить заводской этап испытаний и, несмотря на явную недоведённость машины, в конце 1952 года её передали на государственные испытания.
Государственные испытания неоднократно приостанавливались. Одна машина ещё при проведении заводских испытаний на ресурс сгорела; другая — с высоты восьми метров рухнула на землю.
В апреле 1955 года было начато серийное производство и выпущено 40 вертолётов с большим фюзеляжем, вмещавшим экипаж 3 человека и до 30 экипированных солдат или 3000 кг груза.
В конце 1955 года, 17 декабря, лётчики Е. Ф. Милютичев и Г. А. Тиняков установили на вертолёте два мировых рекорда, подняв груз весом 4 т на высоту 2902 м, затем груз в 2 т на высоту 5082 м.
Четыре вертолёта Як-24 принимали участие в парадах на Тушинском аэродроме в 1955 и 1956 годах. В 1959 году Як-24 принимал участие в манёврах на территории ГДР и в районе Киева. Вертолёт успешно выполнил перелёты по маршрутам Москва — Киев и Москва — Берлин.
Во время войны во Вьетнаме американские лётчики в своих докладах отмечали, что видели у противника вертолёт "похожий на Як-24".
За всё время внедрения и эксплуатации на Як-24 не произошло ни одной катастрофы с человеческими жертвами.
Однако главный недостаток вертолёта — cильные вибрации — выявился довольно скоро при его повседневной эксплуатации. Вибрация была настолько сильной, что даже у худых пилотов дергались щеки, а короткие слова получались протяжными, из-за чего диспетчер не всегда понимал их и переспрашивал. Более-менее справиться с вибрациями удавалось лишь снизив скорость до 100—150 км/ч. К началу 1960-х годов у вертолётов начали фиксировать трещины в фюзеляжах, после чего прекратили их эксплуатацию. Развитие Як-24 не получил, поскольку к этому времени был разработан более мощный транспортный вертолёт Ми-6 классической схемы.
В 1980 году Почта СССР выпустила почтовую марку с изображением вертолёта Як-24.
На сегодняшний день сохранился один Як-24 который находится в Центральном музее ВВС Монино.