Идея создания монумента, посвященного всем павшим в Великой Отечественной войне солдатам, возникла у руководства страны в 1966 году. Задумывался мемориал как память о погибших в Битве за Москву и его открытие сначала планировалось к ее 25 годовщине. Но очень скоро поняли, что статус памятника должен быть гораздо выше. В стране, где почти в каждой семье кто-то не вернулся домой, где миллионы людей не знали где похоронены их близкие, было необходимо создать место, где каждый мог поклониться их памяти.
Созданием и согласованием проекта, защите его на Политбюро занимался Первый секретарь московского горкома партии Николай Григорьевич Егорычев, сам фронтовик, прошедший всю войну от начала до конца. Долго пришлось доказывать Генеральному секретарю Л.И. Брежневу, что лучшим местом для монумента будет вход в Александровский сад у Кремлевской стены. Возражений было два. Первое - в середине 60-х Александровский сад был сильно запущен и скорее представлял из себя пустырь. Второе - на этом месте уже стоял монумент - обелиск, сооруженный в 1913 году к 300-летию Дома Романовых. После революции с него правда убрали фамилии представителей царского дома и выбили имена идеологов революции. Кстати, для того чтобы освободить место для Могилы Неизвестного Солдата, Егорычев самовольно, без согласования с Политбюро, распорядился перенести обелиск от входа в Александровский сад в его центр. Не стал согласовывать он это специально, боялся, что процесс затянется на годы. За такое самоуправство вполне можно было поплатиться должностью, но обошлось.
Самый главный вопрос, с которым столкнулись создатели монумента, кого хоронить в мемориале? А вдруг это окажется тело расстрелянного дезертира? Или, не дай Бог, немца? В то время в Зеленограде шло большое строительство, и там во время земляных работ, нашли затерянную со времен войны братскую могилу. Выбор пал на останки воина, на котором военная форма хорошо сохранилась, но на ней не было командирских знаков отличия. Никаких документов и смертного медальона при нем не оказалось - прах этого рядового был по-настоящему безымянный. Не мог он быть и дезертиром. Хорошо знавший фронтовые реалии Егорычев позже пояснял: "Если бы это был расстрелянный дезертир, с него сняли бы ремень. Да и не похоронили бы дезертира в братской могиле".
2 декабря 1966 года, в 14 часов 30 минут, останки поместили в гроб, увитый оранжево-чёрной лентой. У гроба был выставлен почетный караул. 3 декабря в 11 часов 45 минут гроб установили на орудийный лафет и выдвинулись к Москве. С раннего утра по всей улице Горького стояли сотни тысяч людей. Многие плакали, когда мимо двигался траурный кортеж. Старушки украдкой крестили гроб. От Манежной площади, где состоялся траурный митинг, к месту захоронения, Неизвестного Солдата несли на руках. У ворот Александровского сада процессию встречали Генеральный секретарь Л.И. Брежнев, маршалы СССР Г.К. Жуков, К.К. Рокоссовский. Под артиллерийский салют гроб был опущен в землю.
Несколько месяцев шли работы по созданию монумента. Торжественное открытие мемориала состоялось 8 мая 1967 года, накануне Дня Победы. Из Ленинграда на бронетранспортере был доставлен факел, зажжённый от Вечного огня на Марсовом поле. На всем пути от Ленинграда до Москвы стоял живой коридор - люди хотели своими глазами видеть событие, которое было для них свято. От этого факела Генеральный секретарь ЦК КПСС Л.И. Брежнев зажег Вечный огонь.
Надпись на монументе создавала группа поэтов, во главе с Сергеем Михалковым и Константином Симоновым. Представленный ими вариант согласовывал куратор проекта, уже упомянутый фронтовик Николай Егорычев. Ему не понравилось упоминание героя в третьем лице и он заменил в фразе слово "его" на "твой". Так появилась знаменитая фраза: