Это очень просто и работает на большинстве версий Windows.
Нажмите правой кнопкой мыши по ярлыку, выберите пункт "свойства", во вкладке "ярлык" (обычно она выбрана по умолчанию) нажмите на кнопку "сменить значок". У вас откроется новое окно, в котором по умолчанию открыты иконки для explorer.exe, но вам нужно нажать на кнопку "обзор". В данном меню нужно выбрать путь к файлу иконки (.ico).
Вот и всё! Если вы не знаете откуда взять иконку – можете вбить соответствующий запрос в любую поисковую систему и скачать набор с иконками для Windows.
Удачи!