207 подписчиков
История, которая порвала пу*&^ны
Как вы знаете, мы парсим постоянно и даже в выходные и даже по ночам. Вот и сейчас история пойдёт про это.
Запарсили мы в общем компании, но не у всех из них были email-ы. И тут наш великий и могучий босс говорит: «Не печальтесь, дети мои, это всё поправимо!» И отправил нас неразумных на ... Нет-нет, не туда, куда вы подумали, а на правильную дорожку нас направил с напутствием «Парсите! да получите вы своё!» 💪
В общем, задумка заключалась вот в чём: вытянуть из результатов компании у которых нет email-ов, но есть домены и запустить парсинг по доменам с целью вытянуть оттуда почты.
Немного скучной статистики:
🔵163380 – количество компаний с доменами;
🔵42840 – email-a удалось вытянуть;
🔵5 – столько дней работал парсер.
В общем, дело сделано и осталось за малым – запульнуть полученные данные в базу. Пара часов и готово ✔️
А теперь, приготовиться! На утро пишет мне @julshkel и говорит: «Товарищ, а компаний раньше было 221 000, а стало 216 000! Где остальные, корявый ты мазафака!???» А я ж не помню сколько было, но предусмотрительно сделал бэкапчик перед переносом, запульнул базу и, действительно, там оказалось 221 000! WTF !???
Ну как так? В общем, стали гадать... Долго гадали и теории строили разные. А ларчик просто открывался – оказывается, просто phpmyadmin криво ведёт подсчёт и на самом деле ничего никуда не пропало.
А команда *count выдала, что по факту там вообще и ни 221 0000, и ни 217 000, а 228000 :)
1 минута
8 мая 2024