Напоминалка. Если нам нужно удалить из файла дубликаты строк, то нельзя использовать операторы перенаправления ">" или ">>". Такие операторы имеют более высокий приоритет и начинают писать в файл ещё до того, как полностью считали из него же все строки. Ну, как нельзя, можно, если использовать промежуточный файл, но это некрасиво. На помощь приходят инструменты: tee, sponge (из пакета moreutils), sed -i, awk и другие инструменты записи в файл. Сортировка и поиск дубликатов Давайте сначала разберём пару способов поиска дубликатов строк...

Иногда случается, что необходимо в текстовом файле, например списке адресов электронной почты, найти все повторяющиеся строки и оставить только по одному экземпляру каждой строки. Сделать этом можно легко если у вас установлен текстовый редактор notepad++. Я рекомендую этот бесплатный легковесный текстовый редактор устанавливать всем, кому часто необходимо работать с простыми текстовыми файлами, а уж если вы балуетесь написанием скриптов то вы и так наверное уже про него знаете. Если вдруг не знаете, то почитайте описание notepad++...