Иногда случается, что необходимо в текстовом файле, например списке адресов электронной почты, найти все повторяющиеся строки и оставить только по одному экземпляру каждой строки. Сделать этом можно легко если у вас установлен текстовый редактор notepad++. Я рекомендую этот бесплатный легковесный текстовый редактор устанавливать всем, кому часто необходимо работать с простыми текстовыми файлами, а уж если вы балуетесь написанием скриптов то вы и так наверное уже про него знаете. Если вдруг не знаете, то почитайте описание notepad++...

Скопировали текст из PDF — получили кашу из лишних переносов. Перенесли контент из Word — появились непонятные пустые строки. Экспортировали данные из системы — между записями зияют пропуски. Знакомая ситуация? Каждый день миллионы людей тратят драгоценные минуты на ручную очистку текстов. Пролистывают документы, удаляя пустые строки одну за другой. Копируют по частям, пытаясь избежать лишних переносов. Форматируют контент заново, теряя время и концентрацию. Редактор одного интернет-журнала считал: на очистку статей от PDF-артефактов уходит 20% рабочего времени. Это 8 часов в неделю — целый рабочий день, потраченный на техническую рутину...