437 подписчиков
Поиск недокументированных API
Несложная практическая статья, посвящённая поиску недокументированных API. Ну вы знаете, частенько бывает нужно откуда-то что-то спарсить, создать датасетик в исследовательских целях.
Автор начинает просто – что такое недокументированные api, для чего могут пригодиться.
Важное отличие недокументированных api от класссического html-парсинга в том, что api более стабилен и зачастую содержит больше информации.
На простом примере показывается, как посмотреть нужные запросы, изолировать их и воспроизвести на python для автоматизации сбора информации.
Ещё по статье раскиданы ссылки на интересные детективные расследования, например, Google Has a Secret Blocklist that Hides YouTube Hate Videos from Advertisers—But It’s Full of Holes с методологией исследования. А в конце даются ссылки на практические статьи со схожей тематикой.
Может пригодиться интересный инструмент, который конвертирует curl-команду в запрос на самых разных языках программирования.
Если понравился пост, будем рады вашему лайку. В тг-канале DevFM мы разбираем разные нюансы из жизни разработчика на Python и не только. Вам могут понравиться посты Мониторинг — боль и Итерируем всякое.
#skills
Около минуты
25 июля 2023
614 читали