Как скачать весь интернет? )
«Вы, наверно шутите» — скажете вы. Да, как сказать. У меня есть амбициозные планы это сделать. Что вы бы сохранили себе из интернета? Что представляет ценность?
Музыка, фильмы, книги исторически находились в неравных условиях с точки зрения копирования. Музыка представлена на виниловых пластинках, бобинах, кассетах, компакт-дисках... Фильмы на видеокассетах, DVD, Blu-Ray... Альбомы на кассетах переписывали еще полвека назад наши отцы. CD-DVD копировал сам. Было же время! А книги? Книги? Как их скопировать?
Ксероксы стали доступны нам намного позже магнитофонов и видеомагнитофонов. Да и кто будет ксерить книги в таком масштабе, как переписывались, например, кассеты? Где взять столько бумаги? Как поставить этот процесс на поток? Исторически копирование книг представляло собой трудоемкий процесс, переписать от руки, сделать микрофильм, ксерокс — это все сложней, нежели вставить кассету в магнитофон, нажать кнопку и сделать копию.
В результате книги, как носители знания (а не развлечения), оказались меньше всего скопированы на планете. В итоге исчезают целые библиотеки! Интернет дал возможность сохранять и копировать книги, такого не было за всю историю человечества!!! И как люди отнеслись к этому?
Никак. Полное безразличие.
Сейчас есть возможность скачать крупнейшую в мире библиотеку Libgen.Там, как минимум, 4 миллиона книг на русском языке и других с начала времен. И сколько человек на планете сделало копию? Судя по раздаче торрентов количество хранителей знаний на планете около... 10 человек на 7 миллиардов.
И вот свершилось. Присоединился к ним. Скачал себе библиотеку. Это заняло ровно... один год. Да, это долгое и дорогое удовольствие. Хотя, когда начинал качать, то на раздаче было пару человек на планете, сейчас подключился кто-то и дело пошло намного быстрее. Объем библиотеки растет с каждым днем и он уже больше 60+ терабайт. Для того, чтобы разместить столько информации вам понадобится сетевое хранилище. Здесь рассказывал, как его организовать.
За год скачивания нашел более оптимальное решение. На Авито есть умельцы, которые собирают сетевые хранилища под ключ. В результате получается устройство гораздо производительней нежели известные бренды и в 2-3 дешевле. Вот ссылка на профиль AlbusPRO на Авито: https://www.avito.ru/brands/i181622200. Рекомендую, если встанете на путь сохранения знаний для человечества.
Да, еще нужно купить мощный роутер и жесткие диски. За все про все можно уложиться в 200 000 рублей. Когда система будет настроена, диски отформатированы (сделал RAID 0, без дублирования, так как копию сделал еще мой друг и партнер Дмитрий Трефилов), то останется установить программу для работы с торрентами. Qbittorrent (может придется несколько повозиться с настройкой, инструкции есть в интернете), скачать сами торрент-файлы библиотеки со страницы https://libgen.is/repository_torrent/ (потребуется VPN) или https://ru.annas-archive.gs/torrents/libgen_rs_non_fic и начать этот долгий-долгий путь. Скачивать сами торренты со страницы можно с помощью программы DownloadMaster. Учтите, что могут быть разные версии одного и того же торрента на разных страницах в интернете. Используйте один источник.
По самим торрентам можно скачать только файлы с книгами. Поиск же книг среди терабайтов информации, это отдельная история. Можно использовать, например, программу Libgen Desktop, в ней находить информацию о книге, а дальше методом дедукции вычислять папку с файлом.
Знаете, это чувство до мурашек, когда ты на руках под звездным небом несешь сетевое хранилище (самый быстрый способ копирования терабайтов это ножками)), в котором собраны знания человечества, и понимаешь, что на всей планете таких хранилищ может быть всего несколько десятков (на раздаче торрентов стоит меньше 10 машин). Присоединяйтесь! В итоге, вы сможете дома читать любую, доступную в электронном виде книгу, без использования интернета. Выглядит это, как ЧУДО!
В комментариях подскажу и отвечу на ваши вопросы, как организовать хранилище и скачать библиотеку.
Вы сможете скачать весь интернет!
Если такой возможности нет, то книги представлены энтузиастами на сайте Архив Анны: https://ru.annas-archive.gs/ (требуется VPN).
P.S.
Когда скачал себе книги, то можно уже другим копировать книги напрямую с хранилища на хранилище. Вместо года, это займет уже всего лишь 5 суток.
P.P.S.
Представьте себе, делаю так копию (одна копия не считается за копию)), проходит 5 дней. Запускаю проверку скопированных файлов и вижу, что они битые. Миллионы книг не читаются... Расследование показало, что копировал через FTP-менеджер Filezilla, а там нужно обязательно выставить в настройках двоичный режим передачи. Это уже нюансы, но интересно, как всего одна галочка в настройках программы, может повлиять на миллионы книг.
Автор: Никонов Владимир Олегович