Различные блокировки и ограничения задают направление мысли на то, что некоторые сайты с полезной информацией хотелось бы всегда иметь под рукой. Сохранить сайт полностью на свой компьютер можно разными способами. Давайте рассмотрим несколько подобных вариантов.
HTTrack Website Copier. http://www.httrack.com/
Этот сервис появился ещё в 2017 году. Несмотря на это, он вполне работоспособный и отлично выполняет свои функции – сохранение сайта в память вашего компьютера при этом с сохранением структуры каталогов. Можно сохранять и отдельные страницы с сайтов. В настройках есть возможность выбора глубины прохода на нужном сайте. Можно возобновлять прерванные закачки файлов. При выборе файлов для сохранения можно указать, какие типы файлов попадут в исключения. Для настройки доступен такой параметр, как User-Agent, позволяющий показывать себя как какой-то определенный браузер. Это может понадобиться, если какие-то сайты хорошо работают только с определенными браузерами. Программа HTTrack Website Copier распространяется на бесплатной основе и поддерживает работу в операционных системах Windows, Linux и Android.
Offline Explorer. https://metaproducts.com/
Этот сервис чем-то напоминает интерфейс от Microsoft Office. Кроме того, он обладает и довольно широким ассортиментом функций для сохранения сайта на ваш накопитель. Этот сервис регулярно обновляется и дополняется. Он обладает встроенным браузерным движком, основанным на Chromium. Это значит, что он поддерживает все самые новые стандарты интернета. Разработчики говорят о полной поддержке копирования контента YouTube, социальных сетей Instagram, Facebook, ленты Twitter и многих других. Поддерживается обработка файлов JavaScript и Java-апплетов. Также, оно может отправлять POST-запросы на сервер. Для сайта, приложение может создавать иллюзию просмотра страниц человеком. Различные способы фильтрации скачиваемого контента. Привязки защищенного пароля к разным площадкам в интернете. Скачивание данных возможно по заданному расписанию. Приложение Offline Explorer распространяется на коммерческой основе. Для понимания, насколько оно вам подойдёт есть пробная версия с ограничением на количество загружаемых файлов в 2 тысячи. Работать приложение умеет только в операционной системе Windows.
Inspyder Web2Disk. http://www.web2disk.com/
Это приложение предлагается пользователям на основе модели Shareware, что значит бесплатное использование с некоторыми ограничениями. В ограничения входят планировщик задач и одновременная загрузка только двух сайтов. Приложение способно работать с разными веб-формами, переходить по ссылкам в файлах JavaScript, XML и PDF. Можно в настройках отключить не нужные страницы определенного формата, а также объекты. Взаимодействие с сайтами происходит исходя из учёта объёма загружаемой информации. Также происходит контроль различных параметров, например, глубины просмотра страниц. Поддерживается корректировка User-Agent с различными браузерами, включая их мобильные версии. Приложение работает только в среде операционной системы Windows.
WebCopier. https://www.maximumsoft.com/products/
Эта утилита платная, но предлагается и 7 дней бесплатного пробного использования. Возможности этого приложения находятся между Offline Explorer и Web2Disk. Есть возможность регулировать выбор файлов через их расширения, скорость скачивания, глубину страниц, размер загружаемых объектов и многие другие возможности. Отметить нужно умение приложения выводить скачанные файлы сразу в архив ZIP, MHT и CHM. Работать приложение умеет в операционной системе Windows и macOS.
Website Ripper Copier. https://www.tensons.com/
Это приложение работает на платной основе. Все основные функции подобны уже описанным выше. Бесплатный период работы сохраняется 30 дней. На период бесплатного пробного периода нет никаких ограничений. Из необычных особенностей приложения Website Ripper Copier – это наблюдение за, собственно, процессом скачивания сайта или страниц. Загрузка может происходить в несколько потоков, которые настраиваются внутри приложения. Для удобной настройки скачивания есть фильтры и расписание. Работает приложение в операционной системе Windows.
Website Copier Online https://www.toolsbug.com/website-copier-online.php и Website Downloader Online https://www6.waybackmachinedownloader.com/website-downloader-online/
Эти приложения с некоторыми ограничениями. Первое приложение разрешает скачивать ограниченное количество страниц первого уровня – не больше 50. Второе приложение ограничено в объёме скачиваемого, всего 20 мегабайт. Такое решение подойдёт для сохранения простых сайтов или страниц, например лендингов, инструкций или документаций. Для запуска скачивания простого сайта через Website Copier Online достаточно только указать его URL адрес. Приложение Website Downloader Online предлагает более гибкие настройки для скачивания сайта целиком или только фалы нужного типа, например, документы, видео или другие мультимедийные файлы.
FireDM. https://github.com/firedm/FireDM/releases/tag/2022.2.5
Приложение распространяется бесплатно и предлагает возможность скачивания видео из различных популярных медиасервисов. Оно станет великолепным дополнением к перечисленным приложениям. Приложение создано на основе FireDM и популярных Open Source-компонентов youtube-dl и libcurl. Скачивание можно настроить для многопоточной обработки файлов. Можно настроить на выбор только аудиодорожек или субтитров из видео. Встроенный модуль обновления следит за актуальными дополнениями и исправлениями. Настройки можно точно изменять под предпочтения пользователя. Приложение работает в операционной системе Windows или Linux.
Создание локальных копий важных сайтов не такая простая задача, как кажется на первый взгляд.
1. Обращаем внимание, что современные сайты, а в особенности, соцсети, это динамически изменяемый контент, который моментально реагирует на действия многих пользователей. Поэтому многие перечисленные приложения не смогут скачать контент из соцсетей и подобных сервисов. Отметим приложение Offline Explorer, которое является исключением и справляется с этой сложной задачей.
2. Нужно помнить про активность современных серверов и наблюдение их за поведением пользователей. Включение скачивания в несколько потоков может привести к блокировке со стороны сайта, из-за того, что они посчитают подобное поведение опасным для себя.
3. Обязательно нужно обращать внимание на копирайт сайтов и информацию об авторских правах на скачиваемую из интернета информацию.
