После принятия в серию перехватчиков Як-25 и испытания Як-25Б и Як-25Р еще не были в серии. А.С. Яковлев, осознавая, что они уже не соответствуют возросшим требованиям ВВС, принимает решение о создании более совершенных машин. К тому же вышедшее постановление Совета Министров СССР обязывало создать на базе Як-25 более совершенный перехватчик с двигателями AM-11. Но, в связи с задержкой двигателей, вышло новое постановление Совета Министров СССР о замене старого задания на новое: создать сверхзвуковой бомбардировщик с двигателем РД-9. Для достижения большой скорости требовалось уменьшить аэродинамическое сопротивление. А.С. Яковлев принимает волевое решение уменьшить относительную толщину профиля крыла вдвое — с 12% до 6%. Прочность крыла удалось довести до расчетной, а вот жесткость сразу не получилась.
Постановление и приказ МАП № 240 от 5 апреля 1955 г. обязывали ОКБ-115 построить два экземпляра бомбардировщика с максимальной скоростью не менее 1350—1400 км/ч. Первый — с двигателями РД-9АК, второй — с более мощными двигателями М-9Ф (РД-9Ф). Машина в первую очередь предназначалась для доставки к цели атомной бомбы «Татьяна» массой 1200 кг и мощностью 30 килотонн.
Новый бомбардировщик получил предварительное обозначение Як-123 (более позднее обозначение Як-26) и создавался на базе опытного Як-125Б. При внешней схожести со своим предшественником Як-26 отличался измененной геометрией носовой части фюзеляжа, позволившей не только снизить лобовое сопротивление, но и улучшить условия работы штурмана, в том числе обзор. У летчика и штурмана сохранились прежние катапультные кресла со шторкой. Изменили аэродинамическую компоновку крыла, сохранив угол стреловидности 45°. Заданием предусматривалась кормовая дистанционная артиллерийская установка с 23-мм пушкой АМ-23 и боезапасом 100 патронов. Однако на первой опытной машине она отсутствовала. Для стрельбы из пушки не предусматривался ни радиолокационный, ни оптический прицел. Единственным средством наблюдения за задней полусферой был перископ у летчика. Вооружение самолета состояло из свободнопадающих бомб калибром от 250 до 1500 кг. Под крылом предполагалась подвеска реактивных снарядов различного калибра.
Первый полет на Як-26 выполнил экипаж летчика-испытателя В.М. Волкова весной 1956 г. Вопрос о выпуске опытной партии бомбардировщиков был решен еще до начала испытаний. В соответствии с постановлением Совмина от 5 января 1956 г. заводу № 30 предписывалось построить в течение трех месяцев 10 машин. Государственные испытания, проходившие с 27 июля по 28 августа, не были завершены. Из 110 запланированных полетов выполнили лишь 27. Был выявлен целый ряд серьезных недостатков: неустойчивость на больших углах атаки, недостаточная поперечная управляемость, а главное — реверс элеронов из-за недостаточной жесткости крыла на скручивание. В итоге опытный бомбардировщик не смог получить положительную оценку.
Были сделаны выводы. В конце 1956 г. на первый прототип установили новое усиленное крыло, регулируемый стабилизатор и форсированные двигатели РД-9Ф, доработали фонарь, входной люк штурмана и катапультные кресла. На передней кромке консолей появился выступающий «зуб», играющий роль генератора вихрей. В октябре самолет перегнали в Энгельс для испытания бомбардировочного вооружения. Там проводились бомбометания как на дозвуковых, так и на сверхзвуковых скоростях полета.
В 1956 г. был построен второй прототип самолета Як-26 (Як-123-3) с аналогичными доработками, а также с двигателем РД-9Ф, радиодальномерной станцией «Лотос», сопряженной с прицелом ОПБ-11, наличием кормовой пушки АМ-23. На этом самолете исследовали реверс элеронов.
К концу 1956 г. на заводе № 30 построили все 10 самолетов Як-26. В начале 1957 г. состоялись контрольные испытания Як-26-1 (Як-123-1), летные качества которого существенно улучшились. На испытаниях удалось зафиксировать максимальную скорость 1400 км/ч, потолок — 16 800 м и дальность полета 2400 км. Казалось бы, после таких результатов самолет следовало запустить в серию, но его летно-технические характеристики уже не удовлетворяли заказчика. Затем проводились государственные испытания, которые велись сразу на трех машинах. Полеты постоянно сопровождались авариями, связанными с конструктивно-производственными дефектами. 10 июля 1957 г. летчик-испытатель В.М. Волков совершил посадку с неуправляемым колесом. Летчик-испытатель С.Г. Петухов совершил вынужденную посадку с заклиненным управлением самолета. Несмотря на все усилия промышленности, самолет так и не был принят на вооружение. В то же время в ОКБ создавался новый бомбардировщик с более совершенными характеристиками. В итоге заказчик решил потерять во времени, но выиграть в качестве.
Самолет представляет собой среднеплан со стреловидным крылом, горизонтальным оперением на киле и с шасси велосипедной схемы. Угол стреловидности крыла 45° по линии 25% хорд. На каждой консоли крыла расположены две аэродинамических перегородки. Фюзеляж самолета типа полумонокок круглого сечения. В верхней части фюзеляжа вдоль оси самолета располагается гаргрот, в котором проходят тяги управления, трубопроводы и жгуты. В нижней хвостовой части фюзеляжа имеется аэродинамический гребень, являющийся одновременно обтекателем антенны. В носовой части расположена кабина штурмана, а сверху кабина пилота. Шасси велосипедного типа, состоит из передней, задней и двух подкрыльевых вспомогательных опор. Нагрузки на переднюю и заднюю основные опоры распределены приблизительно поровну.