Краткий обзор и установка приложения с открытым исходным кодом для поиска дубликатов в популярных ОС. Около 2 лет назад я написал dupeguruзаметку об установке уже не поддерживаемого fslint в Ubuntu 20.04+. Т.к. статья до сих пор актуальна, я решил обозреть современные аналоги указанного решения и если вас интересует только поиск дубликатов, то dupeGuru - то, что нужно. По большому счёту, возможность всего одна - поиск дубликатов файлов. Указываете каталог(и), что ищете и по каким критериям. Также...

Напоминалка. Если нам нужно удалить из файла дубликаты строк, то нельзя использовать операторы перенаправления ">" или ">>". Такие операторы имеют более высокий приоритет и начинают писать в файл ещё до того, как полностью считали из него же все строки. Ну, как нельзя, можно, если использовать промежуточный файл, но это некрасиво. На помощь приходят инструменты: tee, sponge (из пакета moreutils), sed -i, awk и другие инструменты записи в файл. Сортировка и поиск дубликатов Давайте сначала разберём пару способов поиска дубликатов строк...