Лучшая программа поиска дубликатов файлов и удаления - 4DDiG Duplicate File Deleter
Как удалить повторяющиеся строки (дубли) в текстовом файле
Иногда случается, что необходимо в текстовом файле, например списке адресов электронной почты, найти все повторяющиеся строки и оставить только по одному экземпляру каждой строки. Сделать этом можно легко если у вас установлен текстовый редактор notepad++. Я рекомендую этот бесплатный легковесный текстовый редактор устанавливать всем, кому часто необходимо работать с простыми текстовыми файлами, а уж если вы балуетесь написанием скриптов то вы и так наверное уже про него знаете. Если вдруг не знаете, то почитайте описание notepad++...
Удаление дубликатов, Текст по столбцам ► фишки для работы с данными
Работая с данными, в программе Microsoft Excel, возможно вы сталкивались с ситуациями, когда нужно удалить дубликаты в таблице или разбить текст содержащийся в одной ячейке на две и более, например ФИО...