Смотреть видео об Archive-Master v 0.0.1
Archive-Master v0.0.1 — это удобное программное решение для создания офлайн-копий сайтов с использованием данных интернет-архива. Программа автоматически находит сохранённые версии веб-страниц за выбранный промежуток времени, загружает их и восстанавливает структуру сайта на локальном устройстве. Такой инструмент отлично подойдёт для SEO-аналитики, резервного хранения сайтов, изучения старых версий ресурсов и различных технических задач.
Основное преимущество Archive-Master заключается в автоматизации всех этапов работы с Web Archive. Пользователю достаточно указать домен сайта и необходимый диапазон дат, после чего приложение самостоятельно найдёт архивные snapshots страниц и начнёт процесс их скачивания. В результате создаётся полноценная локальная копия сайта с сохранением HTML-документов, изображений, таблиц стилей и JavaScript-файлов.
Для защиты доступа в программе реализована авторизация по паролю. После запуска пользователь вводит адрес сайта без протокола, а также даты начала и окончания поиска в формате ГГГГММДД. На основании этих параметров утилита выполняет поиск сохранённых версий ресурса в веб-архиве.
Во время работы автоматически создаётся структура каталогов, включающая основную папку OFFLINE_SITE и директорию assets для хранения вспомогательных файлов. Затем программа начинает сканирование сайта с главной страницы, постепенно добавляя найденные ссылки в очередь обработки.
При обработке каждой страницы выполняются следующие действия:
• получение актуального snapshot через API Web Archive;
• скачивание HTML-кода страницы из архива;
• очистка HTML от лишних элементов и ненужных вставок с использованием BeautifulSoup;
• автоматическая загрузка изображений, CSS и JavaScript-файлов;
• изменение внутренних ссылок для корректной работы сайта в офлайн-режиме.
Все страницы сохраняются отдельно, а структура ссылок адаптируется для локального запуска через браузер. Дополнительно программа контролирует список уже обработанных URL, что позволяет избежать повторной загрузки страниц и бесконечных циклов обхода.
Для более стабильной работы предусмотрен механизм повторных запросов (retry), благодаря которому загрузка продолжается даже при временных сетевых ошибках или ограничениях со стороны сервера. Небольшие интервалы между запросами помогают минимизировать вероятность блокировок.
После завершения работы пользователь получает полностью функционирующую офлайн-версию сайта, которую можно открывать без подключения к интернету. Archive-Master будет полезен SEO-специалистам, разработчикам, веб-мастерам, аналитикам и всем, кто занимается исследованием или сохранением веб-ресурсов.
Программа сочетает в себе простоту, автоматизацию и удобство взаимодействия с архивными данными, превращая веб-архив в эффективный инструмент для анализа и восстановления сайтов.