ИнфоВайб

Обход ограничений парсинга сайтов Когда я делал телеграм бота для быстрых уведомлений о новых объявлениях на авито, я понял что почти нереально защититься от парсинга. Забавно, что многие компании все равно пытаются. Типа сложные api не помогут. Например я в один момент разбирался как работает апи badoo, оно вроде казалось простым, но по началу было не понятно почему при изменении запроса хоть на символ, он перестает работать, оказалось что в header передавался хэш тела запроса. Хэш был не чистым, а с солью. И мне было бы сложно понять какая соль, будь я посредником, но так как эти запросы строил мой браузер, то и соль вместе с клиентским кодом доже была в моем браузере, в итоге без проблем нашел ее(Забавно, что там была просто строка со случайными словами, что-то типа “бубенлюбовьунитазпечень”, лучше бы уж число просто добавили, сложнее было бы найти). При парсинге авито главная проблема была в ограничении количества запросов в час. Сначала я просто ограничил по времени, но стало нехватать скорости. И я сделал прокси через тор и при каждой блокировке менял выходную ноду в торе. Метод сто процентный, прирост по скорости стал в разы. Когда апи слишком сложные можно использовать селениум. А если нужно проходить каптчи, то есть и проекты для автоматического решения каптч и симулированию активности человека типа undetected_chromedriver. Наверное самая нормальная защита - это когда страницы грузятся только для зарегестрированных пользователей, с подтверждением и логином по смс и сессии истекают через какое-то количество запросов апи или типа того.

Игрался я значит со stable diffision и обучил lora модуль на свое лицо. Поражаюсь результату, считай она может мне фотосессию нарисовать или просто кучу артов. А это даже далеко не последняя версия - 1.5. Она считай устарела уже

Думал, что запустить нейросеть, сравнимую по масштабу с ChatGPT, удастся только лет через 5. Но почти полгода назад произошла утечка супероптимизированной нейронной сети LLaMA от Meta, а совсем недавно они выпустили вторую версию этой нейросети, уже открытую даже для коммерческого использования. На видео демонстрируется скорость работы LLaMA 7B на M1 Pro. Если что медленно - это я пишу. Думаю это супер круто. Этой скорости хватит для работы голосового ассистента или чтобы быстро предлагать участки кода в IDE. Самое удивительное - говорят что нейронный ускоритель в M1 примерно такой-же как и в последних айфонах, а значит LLaMA можно запустить и на iPhone. Но пока что это еще никто не сделал)