Недавно я прошел бесплатные курсы Яндекс.Практикум по бэкенд разработке и Data Scientist. Разумеется, в учебных примерах дают не столь большие объемы тестовых данных, чтоб ощутить всю мощь инструментария. Поэтому, не долго думая, я решил попробовать силы на “взрослых” наборах открытых данных ФНС по МСП (Реестр малого и среднего предпринимательства).
Меня интересовал сам каталог ИП + юрлица, их адреса, система налогообложения, среднесписочная численность, а также финансовый результат за 2018 год (доходы и расходы).
Распакованные архивы заняли 21 Гб, 30 тыс файлов в формате XML документов. Уже интересно, мои первые большие данные :) Обработать всё за один проход будет трудновато. Ок, значит нужна база данных. Создаю виртуальную машину, на ней поднимаю PostgreSQL, пишу скрипты, собираю всё в таблицы. В итоге, получаю базу и нахожу несколько, как мне кажется, интересных мест.
А так можно?
Оказывается, не все индивидуальные предприниматели в справочнике МСП имеют фамилию или отчество, у некоторых заполнена только колонка - имя.
ИНН Имя
772278749632 БУПЕНДЕР
780544429814 НЙЕНТХАР
673101024050 ПУШКАР
582903487009 РАВИ КУМАР
771387661094 ШЙАМ СУНДЕР
682806381176 ФАМ ВАН КУЕН
246114249988 ДИН ДАЙАЛ
770976616406 КАЛИНДЕР СИНГХ
771899431706 ГАГАН ДИП СИНГХ
771385430461 ДЖИТ СИНГХ
С юрлицами тоже не все гладко. Удивлен разнообразием организационно-правовых форм! Встречаются реликты вроде: племенных хозяйств, кочевых родовых общин, лодочных баз и семейных частных предприятий. Во вторых, дофига опечаток, как только не склоняют и пишут слова “Общество” и “Кооператив”! А то и по две опечатки в одном названии. Ранее, была уверенность, что у ФНС есть проверка перед регистрацией, и в данных всё будет единообразно, но это не так. Возможно, опечатки перекочевали из старых времен, а проверить существующую пришло в голову только мне. Однако, есть и такие как МИМИН2 зарегистрированное 10.09.2018.
ОБЩЕСТОВ С ОГРАНИЧЕННОЙ ОТВЕТСВЕННОСТЬЮ " УЮТ - СЕРВИС
ОБОТСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "КАРКАС-СТРОЙ-ДВ"
ОББЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ УПРАВЛЯЮЩАЯ КОМПАНИЯ "ЛЕТНЯЯ РЕЗИДЕНЦИЯ"
ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПАРАТИВ №9
СОВМЕСТНОЕ ПРЕДПРИЯТИЕ В ФОРМЕ АКЦИОНЕРНОГО ОБЩЕВА ЗАКРЫТОГО ТИПА "МЕДИНС ИНТЕРНЕШНЛ"
ПОГРЕБНОЙ СТРОИТЕЛЬНЫЙ КОПЕРАТИВ № 14
ГАРАЖНЫЙ КОООПЕРАТИВ "ДОСУГ"
и так далее и много тут (google таблица ИНН и Название)
А теперь про финансы
Всего в справочнике МСП 5 960 393 записей, из них юридических лиц 2 548 795 (остальные - это ИП). За 2018 год годовой бухгалтерский отчет сдали 2 036 539. Таким образом 512 тысяч организаций теоретически налетают на штраф от 400 рублей (200 р за каждый непредставленный документ, а их нужно как минимум два) на организацию и от 300-500 рублей на должностное лицо. Примерная сумма вероятных штрафов 358 млн рублей штрафов.
Открытые данные ФНС предоставляют доступ к отчету организаций, не входящих в МСП. Таковых оказалось 276 682. Для начала я подсчитал суммарный доход и расход по всем организациям вообще сдавших отчет, а также финансовый результат.
Годовой отчет за 2018 год
Суммарный доход: 317 758 191 млн руб.
Суммарный расход: 306 909 419 млн руб.
Финансовый результат: 10 848 772 млн руб.
10,8 триллиона рублей. Триллионов, Карл! Неплохо живет предпринимательство в России. Так ли это? Как я выше упомянул, в этих расчетах присутствуют 276 тыс организаций, которые не относятся к малым и средним предприятиям. Отфильтруем таблицу и пересчитаем.
Годовой отчет МСП за 2018 год.
Суммарный доход: 201 801 804 млн руб.
Суммарный расход: 194 083 385 млн руб.
Финансовый результат: 7 718 419 млн руб.
Годовой отчет не МСП за 2018 год.
Суммарный доход: 115 956 387 млн руб.
Суммарный расход: 112 826 034 млн руб.
Финансовый результат: 3 130 353 млн руб.
Надо отметить, что число организаций МСП больше в 7.3 раза, а зарабатывают они больше крупного бизнеса всего в 2,5 раза. Но 7.7 триллиона, внушительная цифра, даже очень.
Может стоит подумать о трудоустройстве в фирму? Посмотрим, сколько задействовано людей в этой сфере? Посмотрим на суммарную среднесписочную численность по всем организациям: 12 474 386. Выходит, что в “среднем по больнице” один сотрудник обеспечивает 619 тыс руб. в год дохода для своей организации (или ~51,5 тыс руб в месяц). Хотя вряд-ли руководители фирм раздают всё заработанное сотрудникам, так-что на руки, в среднем, выходит не густо.
А что если самому создать фирму? Может тогда шанс заработать больше?
В среднем на организацию выходит 3.8 млн руб в год, что обнадеживает. А какова статистическая вероятность попасть в число фирм, получивших хоть какой-то доход?
Всего сдали отчет 2 036 539 организаций из списка МСП, из них:
58% - шанс на успех, можно начинать!
Конечно, такая статистика “в среднем по больнице” не служит руководством к действию, это скорее попытка пощупать возможности современных инструментов. Построив базу, можно получать разнообразные выборки, расчеты и детализации. То есть, делать настоящую аналитику. Изучая открытые данные, можно найти много полезного и интересного.
Например. Среди вышедших в ноль, только 27.7 тыс. организаций уравняли доходы с расходами (остальные просто подали нулевой баланс). Среди них есть совсем уникальные случаи: ООО “Вендрус” (ИНН 7734715372) где заработали и потратили без остатка почти 9 млрд рублей (причем в Сбис, Руспрофайле и у других этой цифры нет, но она есть в открытых данных ФНС). Настоящий гигант оборотов!
Обрабатывая данные ФНС, я обнаружил довольно приличный пул ИНН организаций, не относящихся к МСП (свыше 400 тыс). Возникла идея написать парсер к ФНС и получить информацию по каждому их этих юрлиц.
Если у кого-то появились вопросы по этой работе, желание получить какую-то выборку или предложение расширить и дополнить базу, пишите в комментариях.
Возможно у вас есть большие базы в текстовом или табличном виде, которые нужно обработать. Мне, ради тренировки, будет только в радость :)