21 мая 1942 года Указом Президиума Верховного Совета СССР для военнослужащих гвардейских частей и соединений Красной Армии и Военно-Морского Флота введены гвардейские воинские звания.
Право ношения имели военнослужащие, чьи подразделения были удостоены звания «Гвардейские». С 11 июня 1943 г., данный знак помещался также на знамёнах данных подразделений.
Советская гвардия появилась в период тяжелейших оборонительных сражений лета и осени 1941 г. под Смоленском. В приказе № 308 Ставки Верховного Главнокомандования от 18 сентября говорилось: «В многочисленных боях за нашу Советскую Родину против гитлеровских орд фашистской Германии 100, 127, 153 и 161-я стрелковые дивизии показали образцы мужества, отваги, дисциплины и организованности. В трудных условиях борьбы эти дивизии неоднократно наносили жестокие поражения немецко-фашистским войскам, обращали их в бегство, наводили на них ужас». Перечисленные в приказе дивизии, отличившиеся в боях с врагом, были переименованы соответственно в 1, 2, 3 и 4-ю гвардейские. Им вручили особые гвардейские знамена с портретом В.И. Ленина.
Для военнослужащих гвардейских частей были установлены материальные привилегии: для командного и начальствующего состава полуторный оклад, а для рядового – двойной оклад денежного содержания.
Для гвардейцев планировалось ввести специальную форму одежды, но в период Великой Отечественной войны это не представлялось возможным.
Автор одобренного проекта знака – художник С.И. Дмитриев.
И.В. Сталин индивидуально рассматривал все проекты знака. Он предложил барельеф Ленина на знамени сменить надписью «Гвардия».
Знаки выпускавшиеся на различных производствах заметно отличались между собой. Такое положение вещей способствовало большому числу разновидностей знака. К примеру, у «Гвардии», изготовляемой на Щербинском ШМЗ НКПС, изначально полотнище знамени было гладким. Потом решено было наносить на него мелкую насечку, чтоб знамя искрилось. Насечка производилась в виде точек, пунктирных линий, чешуи, в столбик, в шахматном порядке и т.п. Форма знаков была округлая, овальная, удлиненная, плоская, выпуклая, рельефная и так далее Отличались они между собой и расцветкой эмали: от оранжево-красной до темно-вишневой.
В период Великой Отечественной войны знак «Гвардия» вручался в торжественной обстановке, на общем построении, с выносом боевого знамени. Молодое пополнение, распределявшееся в гвардейские части и соединения, удостаивалось этой чести после боевого крещения, а в авиации и на флоте только после нескольких боевых вылетов либо похода. Данное правило распространялось как на рядовой, так и на офицерский состав.
На 9 мая 1945 года звания гвардейских удостоены: 11 общевойсковых и 6 танковых армий; конно-механизированная группа; 40 стрелковых, 7 кавалерийских, 12 танковых, 9 механизированных и 14 авиационных корпусов; 117 стрелковых, 9 воздушно-десантных, 17 кавалерийских, б артиллерийских, 53 авиационные и 6 зенитных артиллерийских дивизий, 7 дивизий реактивной артиллерии; 13 стрелковых, 3 воздушно-десантные, 66 танковых, 28 механизированных, 3 самоходные артиллерии и 64 артиллерийских полка, 1 минометная, 11 истребительно-противотанковых, 40 реактивной артиллерии, 6 инженерных и 1 железнодорожная бригады; 1 УР; в ВМФ – 18 надводных кораблей, 16 подводных лодок, 13 дивизионов боевых катеров, 2 авиадивизии, 2 зенитных артиллерийских полка, 1 бригада морской пехоты, 1 морская железнодорожная артиллерийская бригада, также ряд отдельных батальонов и рот различных родов войск и специальных войск.