#отчёт за 30.03.25
#отчёт за 30.03.25 Доделал автоматическое выкачивание с поставщика и импорт. Исправил сервис API - отстало от текущией реальности. Начал доделку пользовательского кабинета: надо тображать квартиры.
2 дня назад
Делать софт правильно
2
подписчика
Рассказываю как один делаю SAAS сервис на всю Россию.…
Интересно, а какая вероятность того, что в одном доме будут продаваться одинаковые квартире по одной цене и у одного агента
Интересно, а какая вероятность того, что в одном доме будут продаваться одинаковые квартире по одной цене и у одного агента? Конечно может быть как в анекдоте про крокодила на улицах Санкт-Петербурга: 50% на 50%. :) Поймал отказы из-за муниципальных образований. Оказывается у меня был неполный список. Ну и любимое "е/ё"... Не успел к ДР. Ну и ладно... Осталось доделать недобота. Недобот будет пока только информировать о совпадениях. MMMMVC - самый минимальный MVC у меня получается. — Я тут пошёл на беслптаные курсы по развитию сообщества. Много полезного и интересного того, что можно применить и для этого проекта...
Похож не успею к ДР сделать себе подарок :\ Плачу уже за парсинг Циан. Пытаюсь импортировть - кучу улиц не найдено. Вероятно Цианисты специально сделали так, чтобы улицы не совпадали с официальными названиями чтобы усложнить жизнь таким как я. Пришлось немного изменить таблицу с улицами: удалить уникальный ключ по id. И вот, например: в Циан есть "Дунайский просп." и "просп. Просвещения"... Бардак! Надо было изначально делать тип объекта. Например "улица", "набережная реки", "Переулок". Тогда бы не было проблем с "ул." в конце или начале. Пришлось делать сейчас.
#отчёт за 01.03.25 С Днём кошек! Уже март... Я нашёл, где могу взять денег. В долг... Есть 30 т.р. на "черный день", которые присланы моей бабушкой детям на учёбу много лет назад. Нашёл у себя файл в котором есть все строения Петербурга. Но неизвестна его свежесть. Искал сегодня где скачать свежий файл. Не нашёл. Но нашёл подобие базы данных в виде текстовых файлов в кодировке Windows-1251, но от 25 февраля! Так что если вы знаете где взять свежий файл CSV или знаете того, кто знает, напишите мне, пожалуйста!
#отчёт за 26.02.25 Сегодня доделал импорт того парсера, который нашёл бесплатный. Обратил внимание, что при импорте объявление не проходит мою валидацию по адресу. Начал смотреть и понял, что домов в моей базе не хватает. В общем ождаемо, но всёравно грустно. Нашёл в спец чате человека, который парсит Циан профессионально. По Питеру один раз в день 5000 р в мес. Данные те, что я добываю сам, но у него, кажется, что более стабильно работает парсер.
Сегодня мне снилось, что юрист предлагал не массовый юридический адрес за 6000 в мес. Я сидел перед ним и думал, что дорого.
#отчёт за 21.02.25 Сделал политику обработки ПД. Возился с парсером. #отчёт за 22.02.25 У кого-то выходной, а у меня рабочий. Дома было никого... Сделал многое. Решил посмотреть альтернативы тому сайту, который предлагает за 10 000 руб данные однократно. Нашёл. Дипсик + терпение и данные по номерам домов на улицах у меня на диске. Ещё пара запросов в ДипСик и данные в БД, привязаны к улицам. *конечно это не так легко и быстро было :) Так выпьем смузи за столь успешный день!
#отчёт за 20.02.25 Бывают такие дни, когда бегаешь вокруг со спущенными штанами и кричишь "ААААА! Ничего не работает!". Сегодня такой день :( Коза-Лось, что делал таблицу, а смотрю - нет её. Очень удивляюсь... Казалось, что есть документация - а нет её...
Сегодня задал вопрос автору библиотеки и в чатике @парсиков". Думаю над решением проблемы. Можно завернуть без прокси через мобильную сеть. Мобильный ip динамический и вряд-ли Циан и прочие будут его банить. Искал модем. Не нашёл :) Как всегда лежал в нашей "чёрной дыре"... Сергей, светлая голова, навёл на мысль: в (*) всякие прокси. Смена ip у провайдера - 150 руб. Вперёд!
#отчёт за 18.02.25 Вчера окончательно задолбался с новым парсером: Я не хочу светить свой ip в ЦИАН как парсер. Могут забанить. Парсер хочет прокси только https. v2ray может сделать https, но тогда получаю ошибку сертификата. Причём беру сертификат от letsencrypt с реального домена. Мучался сегодня второй день. В результате отключил прокси в парсере и смог "завернуть" запросы программы через proxychain3. (И узнал, что уж есть 4я версия.) Всё хорошо, но результат "Total number of parsed offers: 0."
Решил проверить парсер, а то вдруг они что-то поменяли... Они то не поменяли, но и парсер не хотел работать хорошо. Спросил Утёнка (duckduckgo) нет ли решения проблемы. И он мне подставил уже готовый парсер. Попробовал. Очень хорошо! Не всё парсит, но это и не важно. И ещё он на Питоне 🤮 На этом проекте начинает образовываться зоопарк из Javascript, Shell и Python... Парсер сохраняет полученные данные в CSV. Но получает не все данные, которые получает мой парсер. Но для начала хватит. Будет куда "двигаться по фичам".
Я сегодня занимался документами. Нашёл генератор Оферты, политики обработки ПД. Я понимаю, что это не покроет всех рисков, но для старта сойдёт. А 70 тыщ рублей за комплект документов сейчас я отдать не могу :(