Про аналитику в ставках обычно говорят в двух режимах. Либо это магическая кнопка: загрузил данные, нажал пару кнопок, получил идеальную модель, пошел печатать деньги. Либо наоборот: все это называют красивой упаковкой для случайности. Мол, просто натянули умные слова на шум и радуются.
Правда, как обычно, гораздо скучнее и гораздо интереснее одновременно.
Я не смотрю на аналитику как на волшебную формулу. Для меня это просто рабочая система принятия решений. Способ превращать поток матчей, вероятностей и коэффициентов в понятные правила: где брать сигнал, где его отсеивать, а где вообще не лезть.
И чем дольше я с этим вожусь, тем сильнее понимаю одну вещь: главный риск здесь не в том, что модель ошибется. Главный риск - слишком рано поверить в красивый результат.
И вот если про вероятности обычно всем более-менее понятно, то скоринг у многих вызывает путаницу. Хотя именно он, как мне кажется, и ломает больше всего иллюзий. И при этом он напрямую влияет на результат.
С чего все началось
В начале февраля мне пришла в голову идея попробовать собрать свою AI-систему для анализа спортивных матчей. Вот тут писал об этом.
Что делает историю чуть веселее: в классической спортивной аналитике я вообще не из тех людей, кто 20 лет сидел с таблицами и моделями. То есть я заходил в это не как “гуру рынка”, а скорее как человек, которому стало интересно, можно ли выстроить внятную систему поверх ИИ. И закрыл февраль +13% ROI.
На старте я собрал ансамбль из трех моделей. Дальше вся конструкция постепенно разложилась на три слоя:
- модель оценки вероятностей;
- система скоринга;
- модель управления размером ставки.
Скоринг - это не предсказание
И вот тут начинается самое интересное.Самая простая ошибка - думать, что скоринг “угадывает исходы”.
Нет. Исходы оценивает модель вероятности. Она говорит: вот здесь шанс события, по моей оценке, такой-то. Да, там куча нюансов, разные модели “капризничают” по своему.
А скоринг отвечает уже на другой вопрос: какие из этих сигналов вообще достойны того, чтобы брать их в работу? То есть скоринг - это не оракул. Это фильтр.
У тебя есть поток матчей. У каждого матча есть признаки: вероятность, коэффициент, согласованность между моделями, дополнительные маркеры уверенности.
И дальше поверх этого строятся правила:эти сигналы пропускаем;
- эти отсекаем;
- здесь ужесточить отбор;
- здесь можно дать системе чуть больше свободы.
Почему красивый результат - это часто плохая новость
И проблема не в том, что подгонка вообще существует. На этапе исследования она почти неизбежна. Ты работаешь с массивом и ищешь закономерности в нем.
Проблемы начинаются позже. Когда ты забываешь, что это было исследование, и начинаешь относиться к найденной гипотезе как к доказанной истине.На бумаге все всегда выглядит очень убедительно. Ты берешь массив исторических (а лучше актуальных) матчей. Прогоняешь через него модели вероятности. Потом начинаешь тестировать разные правила отбора. Где-то меняешь порог входа, где-то ограничиваешь расхождение между моделями, где-то режешь по коэффициенту, где-то комбинируешь несколько условий сразу.
И почти всегда находишь несколько гипотез, которые выглядят очень красиво с разными “но”.Одна дает высокий ROI, но на маленьком объеме
Другая пропускает больше матчей, но дает меньший ROI
Третья дает лучший абсолютный плюс.
Какую выбрать? И вот в этот момент мозг почти всегда хочет одного: ткнуть пальцем в победителя и сказать: все, нашли, вот он - лучший скоринг.
Но именно это, по моему опыту, и есть самая опасная точка. Потому что “лучший” скоринг очень часто рождается на том же массиве, на котором ты его и оценивал.
А значит, внутри результата почти всегда намешаны две вещи:
- реальный сигнал;
- подгонка под конкретную историю.
Самая неприятная цифра - не минус, а слишком красивый плюс
Приведу простой пример.
Выглядит неплохо?
Но рядом лежал другой набор условий, который на том же объеме показывал уже 33% ROI и 70% winrate. И вот это как раз тот момент, где очень легко влюбиться в цифры.
Потому что 33% выглядит не как “интересная гипотеза”, а как почти готовое доказательство, что ты нашел что-то особенное (кто-то откажется от вклада 33% за месяц?). Хотя честный ответ тут гораздо скучнее: может, это реально сильный скоринг. А может, это просто очень удачное совпадение на конкретном отрезке.
И отличить одно от другого нельзя силой желания. Это проверяется только следующим независимым сегментом.
Следующий сегмент - единственный нормальный экзамен
Первый отрезок - это не приговор и не корона на голову модели. Это только стартовая карта.
Настоящий экзамен начинается потом, когда гипотеза выходит на следующий массив данных. Желательно похожий (или больший) по объему. Еще лучше - когда таких отрезков несколько. И они показывают похожий результат.
Потому что именно там становится видно, где у тебя было что-то живое, а где просто красивая посадка на историю. И самое полезное, что я понял за это время, звучит довольно неприятно: иногда скоринг, который ты уже списал после слабого отрезка, потом возвращается и начинает выглядеть сильнее того, на который ты переключился.
Это раздражает. Честно.
Потому что хочется верить, что если ты уже принял решение заменить модель, то это решение должно было быть “правильным”. А реальность так не работает.
История, которая быстро сбивает спесь
У меня был вполне показательный случай.
Логика была понятная: новая гипотеза на свежем куске данных показывала себя убедительнее, значит, даем ей основную роль.
Но потом пришел еще один отрезок. И оказалось, что стартовая модель №1 вырывается обратно в топ по прибыли и ROI.
И вот такие моменты очень хорошо лечат от иллюзии, что систему можно один раз “идеально настроить”, а дальше просто собирать плоды.
Нельзя. Зато можно построить процесс, в котором ошибка не превращается в катастрофу. И, кажется, это куда полезнее.
Почему я не люблю выводы на короткой дистанции
Одна из самых опасных ловушек в работе со скорингами - желание делать выводы слишком рано. После 30, 40 или 60 ставок очень хочется сказать: “ну все, этот скоринг полетел” или “все, этот умер”.
Но короткая дистанция умеет слишком хорошо притворяться закономерностью. Какое количество оптимально? Для разных портфелей эта точка может быть разной. Где-то разумно смотреть новый контроль на 150 ставках, где-то на 250, где-то на 300 матчах в анализе. Но сам принцип для меня один и тот же: важно заранее решить, на каком объеме ты вообще имеешь право делать следующий вывод.
Иначе аналитика очень быстро превращается в эмоциональные качели.
Что я считаю хорошим скорингом
Я давно перестал смотреть на скоринги в логике “гений или мусор”. Гораздо полезнее смотреть на них как на рабочий пул гипотез, у каждой из которых есть свой текущий статус.
Хороший рабочий скоринг - это тот, который:
- держится на новом независимом отрезке;
- не проигрывает альтернативам слишком явно по качеству и объему;
- не живет только за счет одной удачной фазы рынка.
Иногда модель с более низким ROI оказывается полезнее, чем ее более “звездный” сосед. Просто потому что она дает более здоровый объем, меньше хрупкости и лучше ведет себя между сегментами.
Именно поэтому я смотрю не только на ROI. Также важны и абсолютная прибыль, количество ставок, winrate, устойчивость, поведение между отрезками и какое место гипотеза занимает внутри общего пула. Потому что один красивый процент еще ничего не гарантирует.
Что я понял в итоге
Я не верю в идеальный скоринг, найденный раз и навсегда. Я верю в процесс, где гипотезы можно рождать без фанатизма, проверять без самообмана и пересматривать без трагедии. В красивой истории про AI-аналитику модель всегда права.
В реальной работе ты просто пытаешься сделать так, чтобы правда как можно быстрее догоняла твою уверенность.
И, если честно, именно это мне в этой истории сейчас кажется самым интересным.
Если вам интересно, как эта история будет развиваться дальше, можно подписаться на соцсети проекта (VK и TG). Там я в реальном времени публикую результаты и веду несколько независимых портфелей. Ну и вместе посмотрим на результаты марта как минимум трех независимых портфелей уже совсем скоро.
Спасибо всем за внимание.