Супер короткая статья, и для многих пользователей она может оказаться очень полезной. Приведу пример, чтобы все встало на свои места: человек набирал текст в блокноте, может быть, в программе под названием WordPad, а потом закинул все это в офисный процессор и отправил вам "кашу", которую ваш Microsoft Word отказывается корректно открывать; либо пример из жизни (я столкнулся с ним позавчера) - мне прислали текстовый документ в формате DOCX, НО! человек набирал его в каком-то opensourse редакторе, который видимо не очень хорошо умеет работать с "новым" форматом Word'а...

Напоминалка. Если нам нужно удалить из файла дубликаты строк, то нельзя использовать операторы перенаправления ">" или ">>". Такие операторы имеют более высокий приоритет и начинают писать в файл ещё до того, как полностью считали из него же все строки. Ну, как нельзя, можно, если использовать промежуточный файл, но это некрасиво. На помощь приходят инструменты: tee, sponge (из пакета moreutils), sed -i, awk и другие инструменты записи в файл. Сортировка и поиск дубликатов Давайте сначала разберём пару способов поиска дубликатов строк...