Найти тему
207 подписчиков

История, которая порвала пу*&^ны


Как вы знаете, мы парсим постоянно и даже в выходные и даже по ночам. Вот и сейчас история пойдёт про это.

Запарсили мы в общем компании, но не у всех из них были email-ы. И тут наш великий и могучий босс говорит: «Не печальтесь, дети мои, это всё поправимо!» И отправил нас неразумных на ... Нет-нет, не туда, куда вы подумали, а на правильную дорожку нас направил с напутствием «Парсите! да получите вы своё!» 💪

В общем, задумка заключалась вот в чём: вытянуть из результатов компании у которых нет email-ов, но есть домены и запустить парсинг по доменам с целью вытянуть оттуда почты.

Немного скучной статистики:

🔵163380 – количество компаний с доменами;
🔵42840 – email-a удалось вытянуть;
🔵5 – столько дней работал парсер.

В общем, дело сделано и осталось за малым – запульнуть полученные данные в базу. Пара часов и готово ✔️

А теперь, приготовиться! На утро пишет мне @julshkel и говорит: «Товарищ, а компаний раньше было 221 000, а стало 216 000! Где остальные, корявый ты мазафака!???» А я ж не помню сколько было, но предусмотрительно сделал бэкапчик перед переносом, запульнул базу и, действительно, там оказалось 221 000! WTF !???

Ну как так? В общем, стали гадать... Долго гадали и теории строили разные. А ларчик просто открывался – оказывается, просто phpmyadmin криво ведёт подсчёт и на самом деле ничего никуда не пропало.

А команда *count выдала, что по факту там вообще и ни 221 0000, и ни 217 000, а 228000 :)
История, которая порвала пу*&^ны  Как вы знаете, мы парсим постоянно и даже в выходные и даже по ночам. Вот и сейчас история пойдёт про это.
1 минута