Делать софт правильно

Похож не успею к ДР сделать себе подарок :\ Плачу уже за парсинг Циан. Пытаюсь импортировть - кучу улиц не найдено. Вероятно Цианисты специально сделали так, чтобы улицы не совпадали с официальными названиями чтобы усложнить жизнь таким как я. Пришлось немного изменить таблицу с улицами: удалить уникальный ключ по id. И вот, например: в Циан есть "Дунайский просп." и "просп. Просвещения"... Бардак! Надо было изначально делать тип объекта. Например "улица", "набережная реки", "Переулок". Тогда бы не было проблем с "ул." в конце или начале. Пришлось делать сейчас.

#отчёт за 01.03.25 С Днём кошек! Уже март... Я нашёл, где могу взять денег. В долг... Есть 30 т.р. на "черный день", которые присланы моей бабушкой детям на учёбу много лет назад. Нашёл у себя файл в котором есть все строения Петербурга. Но неизвестна его свежесть. Искал сегодня где скачать свежий файл. Не нашёл. Но нашёл подобие базы данных в виде текстовых файлов в кодировке Windows-1251, но от 25 февраля! Так что если вы знаете где взять свежий файл CSV или знаете того, кто знает, напишите мне, пожалуйста!

#отчёт за 26.02.25 Сегодня доделал импорт того парсера, который нашёл бесплатный. Обратил внимание, что при импорте объявление не проходит мою валидацию по адресу. Начал смотреть и понял, что домов в моей базе не хватает. В общем ождаемо, но всёравно грустно. Нашёл в спец чате человека, который парсит Циан профессионально. По Питеру один раз в день 5000 р в мес. Данные те, что я добываю сам, но у него, кажется, что более стабильно работает парсер.

Сегодня мне снилось, что юрист предлагал не массовый юридический адрес за 6000 в мес. Я сидел перед ним и думал, что дорого.

#отчёт за 21.02.25 Сделал политику обработки ПД. Возился с парсером. #отчёт за 22.02.25 У кого-то выходной, а у меня рабочий. Дома было никого... Сделал многое. Решил посмотреть альтернативы тому сайту, который предлагает за 10 000 руб данные однократно. Нашёл. Дипсик + терпение и данные по номерам домов на улицах у меня на диске. Ещё пара запросов в ДипСик и данные в БД, привязаны к улицам. *конечно это не так легко и быстро было :) Так выпьем смузи за столь успешный день!

#отчёт за 20.02.25 Бывают такие дни, когда бегаешь вокруг со спущенными штанами и кричишь "ААААА! Ничего не работает!". Сегодня такой день :( Коза-Лось, что делал таблицу, а смотрю - нет её. Очень удивляюсь... Казалось, что есть документация - а нет её...

Сегодня задал вопрос автору библиотеки и в чатике @парсиков". Думаю над решением проблемы. Можно завернуть без прокси через мобильную сеть. Мобильный ip динамический и вряд-ли Циан и прочие будут его банить. Искал модем. Не нашёл :) Как всегда лежал в нашей "чёрной дыре"... Сергей, светлая голова, навёл на мысль: в (*) всякие прокси. Смена ip у провайдера - 150 руб. Вперёд!

#отчёт за 18.02.25 Вчера окончательно задолбался с новым парсером: Я не хочу светить свой ip в ЦИАН как парсер. Могут забанить. Парсер хочет прокси только https. v2ray может сделать https, но тогда получаю ошибку сертификата. Причём беру сертификат от letsencrypt с реального домена. Мучался сегодня второй день. В результате отключил прокси в парсере и смог "завернуть" запросы программы через proxychain3. (И узнал, что уж есть 4я версия.) Всё хорошо, но результат "Total number of parsed offers: 0."

Решил проверить парсер, а то вдруг они что-то поменяли... Они то не поменяли, но и парсер не хотел работать хорошо. Спросил Утёнка (duckduckgo) нет ли решения проблемы. И он мне подставил уже готовый парсер. Попробовал. Очень хорошо! Не всё парсит, но это и не важно. И ещё он на Питоне 🤮 На этом проекте начинает образовываться зоопарк из Javascript, Shell и Python... Парсер сохраняет полученные данные в CSV. Но получает не все данные, которые получает мой парсер. Но для начала хватит. Будет куда "двигаться по фичам".

Я сегодня занимался документами. Нашёл генератор Оферты, политики обработки ПД. Я понимаю, что это не покроет всех рисков, но для старта сойдёт. А 70 тыщ рублей за комплект документов сейчас я отдать не могу :(

ссылочку забыл: https://legalup.online/kogo-i-chto-budet-proveryat-roskomnadzor-v-2025-godu #полезное #ПД #РКН

Давно не писал. Только мемчики постил :\ Доделал базовый вариант GUI. Ужасный, конечно, но минимально достаточный для работы. Поправил API немного. Вспомнил, что нельзя отдавать на фронт того, что не положено ему знать. Почитал ссылочки. Надо будет при регистрации ещё сделать чтобы ставили галочки, что согласен с обработкой ПД, политикой конфиденциальности. Ещё эту саму политику конфиденциальности надо придумать. Конечно ДипСик мне в помощь, но и мозги тоже надо иметь! Интересно, а самозанятый вообще может быть оператором ПД? И надо ещё уточнить что такое ПД вообще. Например, номер ТГ аккаунт а и фамилия + имя это ПД? А если в ФиИ указан бред типа "Оператор жабьих крылышек"? Ох, это всё надо уточнять...