Это очень просто и работает на большинстве версий Windows. Нажмите правой кнопкой мыши по ярлыку, выберите пункт "свойства", во вкладке "ярлык" (обычно она выбрана по умолчанию) нажмите на кнопку "сменить значок". У вас откроется новое окно, в котором по умолчанию открыты иконки для explorer...