Первое упоминание о Торге за кремлевской стеной относится к 1434 году, а первые каменные торговые ряды, упорядочившие стихийную торговлю, были построены при Борисе Годунове в 1595-1598 годах. Те ряды представляли целый торговый квартал, с двухэтажными лавками и улицами-проходами между ними. Серьезной реконструкции торговые ряды подверглись при Екатерине II по проекту итальянского архитектора Джакомо Кваренги в 1784-1786 годах. Ряды украсил арочный фасад, выделенный десятиколонным портиком. Напротив, вдоль кремлевской стены была создана симметричная аркада рядов. Такие же аркады торцевых перпендикулярных выступов рядов замыкали южную и северную стороны площади. Ряды Кваренги серьезно пострадали в результате пожара Москвы 1812 года.
Реконструкция здания рядов была проведена под руководством архитектора Осипа Бове и завершилась в конце 1815 года. Ряды у рва Кремлевской стены, разрушенные взрывом, были снесены, а фасадам старых рядов Бове придал новую архитектурную форму. Сохранив аркады, закрывшие старые ряды, он украсил их парными колонками, и оставив боковые ризалиты, добавил центральный ризалит с приставным портиком мощных дорических колонн, воздвигнув на нем плоский купол, перекликавшийся с куполом здания Сената, а боковые части фасада отмечены далеко выступающими ризалитами с шестиколонными портиками. Ордерной аркадой были оформлены фасады по Ильинке и Никольской улицам. Внутри же это был целый торговый квартал разнородных беспорядочных строений с крытыми проходами, состоящий из 32 каменных корпусов. Все постройки принадлежали разным владельцам. Их несговорчивость по поводу выделения денег на ремонт привела к тому, что к середине XIX века строения сильно обветшали. Удобств не было никаких, а зимой тут царил леденящий холод, так как ряды не отапливались. В 1869 году Городской Думой впервые был рассмотрен вопрос о сносе здания рядов и постройке нового. Это вызвало ожесточенное сопротивление со стороны владельцев и мелких арендаторов. Купцы не соглашались покидать свои насиженные места, сопротивляясь всеми силами.
В 1880 году Городская Дума вновь вернулась к этому вопросу, выдвинув требование о создании акционерного общества Верхние торговые ряды. В 1886 году состоялось собрание, и был создан комитет по подготовке устава нового общества и предложениям по реконструкции рядов. На Красной площади были поставлены временные ряды лавок, состоящие из 14 железных балаганов, которые открылись в январе 1887 года. Там и была начата торговля на время строительства нового здания. 15 ноября 1888 года был объявлен архитектурный конкурс на постройку нового здания рядов. А всего три месяца спустя в залах Исторического музея прошла выставка представленных проектов. На конкурс поступило 23 проекта, подававшихся анонимно, а имена авторов находились в запечатанных пакетах. Первую премию завоевал проект санкт-петербургского академика архитектуры Александра Никаноровича Померанцева.
Вторая премия была присуждена московскому архитектору будущему автору Средних торговых рядов, Роману Ивановичу Клейну. Победивший в конкурсе проект, выполненный в модном псевдорусском стиле, в 1889 году был одобрен императором Александром III. Протяженный фасад, ставший северо-восточной границей Красной площади, получился торжественным, а сам проект сохранил изначальную типологию старых торговых рядов, разделенных семью продольными рядами и тремя поперечными. К этому проекту был привлечен известный инженер Владимир Григорьевич Шухов. Он разработал уникальные арочные остекленные конструкции, перекрывающие галереи новых торговых рядов, и спроектировал большой купол над пересечением центрального и среднего рядов. Разборку старого здания начали осенью 1888 года, а через год приступили к сооружению фундаментов. Официальная церемония закладки здания состоялась 21 мая 1890 года. Строительство комплекса зданий общей площадью более 24 000 кв.м продолжалось менее четырех лет, и он был открыт для посетителей 2 декабря 1893 года. Структура нового комплекса осталась прежней: линии, проходы и широкие окна витрин. Основное здание было поставлено параллельно Кремлевской стене, а главный вход в ряды устроен в центре фасада на Красной площади. Задняя часть основного корпуса выходит на Ветошный переулок, где стоит еще один самостоятельный корпус рядов. Каждая из трех линий обеспечена отдельным входом с торцов здания. Основной корпус был сооружен в виде пассажа, где магазины размещены ярусами по сторонам широких галерей.
Здание состоит из 16-ти корпусов, соединенных тремя продольными и тремя поперечными линиями, над которыми расположены световые фонари. Новое здание Верхних торговых рядов сразу же вызвало живейший интерес москвичей. Современники отмечали, что весь следующий год не было более популярного места для прогулок, чем новые ряды на Красной площади. После революции здание рядов потеряло свои торговые функции и туда въехали разные советские конторы. В 1921 году с началом НЭПа сюда вернулась торговля, и появился Государственный универсальный магазин. В 1930 году торговля была снова вытеснена из здания различными учреждениями. Согласно Генеральному плану реконструкции города Москвы 1935 года здание вообще предполагали снести для расширения территории Красной площади. Второе рождение торговых рядов пришлось на хрущевскую «оттепель», когда на заседании Советского правительства было принято решение о возобновлении торговли. Обветшавшее здание начали срочно реконструировать, и в 1953 году после там вновь открылся Государственный универсальный магазин – ГУМ, пользовавшийся необычайно широкой популярностью как у москвичей, так и у гостей столицы.