По завершению финала предстояла большая работа по выявлению шахматных читеров. И при анализе аномально мощных выступлений, на которые ушли двое бессонных суток, в голове вертелись мысли: "может я зря думаю так на человека?" или наоборот: "ах ты гад, ты и раньше нас обманывал. Ну держись!" В общем никакого кайфа от этих античитерских расследований на наших шахматных онлайн-турнирах, и уж тем более от очень ответственных обвинений человека в читерстве - организаторы не испытывают. Впрочем мало удовольствия и когда чувствуешь нечистую игру, но доказать математически со 100% уверенностью - не можешь. Теперь, к счастью, можем и настало время наконец выявить самых хитрых читеров.
Читеров попроще мы выявляли эффективно и ранее (как подставных людей, так и компьютерных "мастеров"), но выявить читеров среди сильных шахматистов (от КМС до ММ) куда более сложная задача, ведь шахматисты посильнее лучше разбираются в тонкостях игры, а значит они могут более тонко и хитро использовать шахматные движки так, что никакие алгоритмы шахматных онлайн-платформ не помогут. Да, к тому же вроде на Личесс у них вон какие рейтинги, разве они будут жульничать? Зачем им это? К сожалению, будут. По какой причине - можем только догадываться. Но предполагаем, что возможно материальное стимулирование удачных выступлений от организаций, за которые они выступают. Ведь у нас все-таки корпоративная лига с самым широким географическим охватом и хорошо выступить (тем более в финале) - очень престижно.
В общем уходим с головой в шахматную аналитику. И незаменимый помощник в эти дни - отличная программка PGN spy, которая позволяет проверять точность ходов, согласно, показаниям самых разных шахматных движков.
** Ссылка на скачивание pgn spy: https://github.com/MGleason1/PGN-Spy/releases/tag/v1.1 **
Проверка проходила на трех самых известных и сильных движках (из бесплатных): stockfish 15.1, houdini 15 и komodo 10. Глубину просчета позиций, секунды работы движков задавал, согласно рекомендациям из этого видео: https://www.youtube.com/watch?v=yoB_AZisG-4 Получается, что десятки pgn файлов содержащих сотни партий прогонял через программку по несколько раз. Учитывая, что на одну партию у программы уходит от 1 до 3-х минут - можете прикинуть сколько часов ушло только на одну прогонку. Затем все, что выдала программка еще надо было проанализировать, структурировать, отпринтскринить, наконец. В общем дело нелегкое и не быстрое. И по завершению еще надо написать вот это расследование :) Оно судя по всему выйдет объемным. Но, надеюсь, его результатами будут пользоваться и другие организаторы и польза в борьбе с шахматным жульничеством будет от всего написанного - ощутимая. Поехали.
"КОЭФФИЦИЕНТ МАГНУСА"
Логично, что то взять за эталон. А также сравнить с этим эталоном, шахматиста посильнее и послабее. Послабее пусть будет Ваш покорный слуга - перворазрядник :) https://lichess.org/@/Bezmaternykh Так как в данное расследование вошли партии шахматистов явно посильнее меня, специально взял интервал партий, когда на личесс у меня был пиковый рейтинг - 15 декабря 2021 года. Тогда на личесс в блиц удалось достигнуть рейтинг в 2268, чего с тех пор я не добивался и близко. Вот моя статистика простого смертного по стокфишу:
Выборка в 13 партий с соперниками с рейтингом 2250 - 2350. Забегая вперед, скажу, что статистика явно хуже всего, что будет ниже, но для наглядности это примерно показатели 2200 - 2250 рейтинга в блиц на Личесс.
Расшифровываю, не перегружая! Слева отображаются типы позиций и их количество. Вверху - Undecided Positions - это так называемая неясная позиция. То есть с оценкой от -2.0 до +2.0 по движку. Они, как Вы видите в данной выборке по стокфишу встречались 166 раз. Ниже Losing Positions - явно проигранные позиции с оценкой - 5.0 и ниже. Этих данных по позициям - достаточно для расследования. Теоретические дебютные позиции и позиции с единственными ходами в выборку не входят.
Т1, Т2 и Т3 - это ходы по первым трем линиям движка (глубина 16, от 1 до 6 секунд прогрузки хода). Под ними ходы, которые портят позицию на определенное количество сантипешек. Сантипешки - это математически выраженный показатель точности хода. Все что выше "больше 25CP" - это по сути точные ходы, за которые мы теряем меньше 25 сантипешек (меньше 1/4 пешки). От "больше 25CP" и ниже - ухудшаем свою позицию после хода на 1/4 пешки и выше.
И самое главное - строка CP loss mean - средняя потеря сантипешек в указанных типах позиций. У меня, к примеру, она в неясных позициях: 54,83
Ссылка на описываемые данные для подгрузки в PGN spy по Bezmaternykh: https://disk.yandex.ru/d/7W-Lz4XZEErlFg
Давайте теперь посмотрим на статистику очень хорошего шахматиста. К примеру, нашего друга - Международного Гроссмейстера Романа Овечкина. С 1 января по 1 марта 2023 года он сыграл на Личесс девять рейтинговых блиц-партий в формате 3+0, 3+1, 3+2. 7 партий выиграл, две проиграл. Все соперники по рейтингу Личесс были ниже, чем у Романа Юрьевича: минимальный - 1598, максимальный - 2474. Партии обычные, не турнирные, возможно Роман Юрьевич их стримил, но тем не менее, думаю, что на уровне хорошего мастера он их играл явно. Смотрим точность Романа Юрьевича.
Stockfish 15.1
Houdini_15
Komodo_10
Видим, что в зависимости от движка точность ходов Романа Юрьевича в неясных позициях варьируется примерно от 18,5 до 21,5. Ходов явно ухудшающих позицию также совсем немного, в сравнении с моими перворазрядными потерями :). Также отметим, что несмотря на то, что Роман Юрьевич играл в данной выборке с соперниками ниже рейтингом, тем не менее явно проигранные позиции, у него встречались ни раз. Это как мы дальше увидим - нормально.
Теперь возьмем человеческий эталон. Гения шахмат - Магнуса Карлсена. В блиц на Личесс он играет крайне редко, за 2022-2023 год в формате 3+0 и 3+2 в общей сложности сыграл 17 рейтинговых партий, также с соперниками (понятное дело!) ниже себя по рейтингу. 13 раз выиграл, 1 ничья, 3 поражения. Сделаем, поправку, что возможно, он мог в части из этих партий, что-то наигрывать дебютное, в части быть нетрезвым, в части стримить, и со всеми этими оговорками примем за эталон, к которому теоретически участники наших турниров могут при своей самой сильной и мощной игре практически соответствовать.
Итак, оценка точности блиц партий Магнуса Карлсена на Личесс в 2022-2023 годах.
Stockfish 15.1
Houdini_15
Komodo_10
Как мы видим, точность ходов в неясной позиции в зависимости от движка - оценивается у гения, если округлять, от 14 до 18 сантипешек (точность игры в блиц - супергроссмейстера). Также крайне мало делал ходов, ухудшающих позицию на более чем 1/4 пешки и более. В неясных позициях это: cp loss > 50 - примерно 8%, cp loss > 100 - примерно 3 % и так далее.
При этом он также несколько раз получал явно проигранную позицию (оценка -5 и ниже). Что не удивительно даже для Магнуса. Все-таки не робот :)
** Ссылка на материалы для подгрузки в PGN spy по Магнусу: https://disk.yandex.ru/d/Y4O6u3jeB42R8Q **
Исходя из статистики Магнуса, а также опираясь на статистику Романа Овечкина (а у нас выступают участники, которые если не сильнее Романа, то могут его в блиц обыграть) определяем критерии, когда у нас возникнут явные подозрения в сторону наших участников.
1) В неясных позициях оценка движка (cp loss mean) 20 сантипешек и ниже
2) В неясных позициях: cp loss > 50 - не ниже 10%, cp loss > 100 - не выше 5 %
3) Аномалия также, когда не встречаются или практически не встречаются проигранные позиции
Зафиксировали эти критерии и теперь сопоставляем их с нашими "героями"
ЧИТЕРЫ
Уже третий год проводим турниры. Есть никнеймы, которые, ты понимаешь, что, что-то здесь не то, но чисто шахматной чуйкой читером человека признать не правильно. На 99% ты уверен в жульничестве и можешь это обосновать, но остается 1% сомнений, который не дает тебе это сделать. Жаль, что раньше не наткнулся на программу pgn spy, так как она как раз эту чуйку переводит в математическую плоскость, а математика - точная наука и спорить с ней бессмысленно.
Итак, читер № 1 - никнейм Andrey200294 https://lichess.org/@/Andrey200294
Аномальное выступление прошлого финала - не давало покоя и перед финалом нынешним. С представителями его организации у нас хорошие отношения, постоянные наши участники и во время того финала в декабре 2022, я звонил представителю команды и говорил о фантастической игре данного никнейма. На что представитель команды говорила, что он усиленно готовился к турниру, а перед ним выиграл в родном городе официальный турнир (проверили - так и было). В общем тогда по-человоечески в читерстве была уверенность на 99%, но по нашим правилам, если есть хотя бы процент сомнений, мы такого серьезного обвинения - не выносим. Но в этот раз со 100% уверенностью заявляем, что Andrey200294 - читер.
Итак, смотрим, что было у нас на этом финале
Stockfish 15.1
Komodo_10
Видим фантастику ))))
В неясных позициях точность ходов в 2 раза выше, чем у Магнуса! Явно проигранные позиции, у него встретились 2 и 3 раза соответственно, причем, все они встретились только в одной, единственно проигранной партии с TimIlyin (о нем, кстати, чуть позже). Вот отдельная статистика по этой партии
Уберем ее, и статистика по точности станет просто уникальной! Играй у нас Магнус, он с вероятностью близкой к 100% проиграл бы этой машине!
И вишенка на торте, статистика по стокфишу с прошлого финала. Вообще явно проигранных позиций не допускалось. И это, когда играет под этим никнеймом человек с официальным рейтингом в районе 2100, а у него в соперниках МФ и ММ с рейтингами 2300 - 2500 !!! Жаль, что там он был нами не пойман.
Ссылка на партии обоих финалов Andrey200294 для подгрузки в PGN spy: https://disk.yandex.ru/d/1abJwatFdtXM1w
Вторая "ласточка" в наших сетях, за которую так болели в чате нашей онлайн-трансляции (она кстати, тут: https://www.youtube.com/watch?v=lr9kSMNkLX0 ) пользовательница с ником murtania https://lichess.org/@/murtania
Первые пять туров катком прошлась по соперникам - 4,5 очка! Причем двое из них с сопоставимым рейтингом, а трое значительно выше. Подозрительно, подумали организаторы :) И еще раз во все чаты личесс и чат ютуб-трансляции (так как за нее там особо болели) написали, что всех вычислим и проверим. После этого "муртаню" как бабка отшептала. Но организаторы же не дураки, вроде бы, могут глянуть не все партии турнира, а статистику грандиозной серии в первых турах!
Houdini_15
Stockfish_15.1
Просто - огонь! Играй Магнус с "муртаней" - попал бы под раздачу :) И ничего, что у человека, скрывающимся за этим ником почти на 1200 официальный рейтинг ниже :) На 5 партий просто какое-то озарение произошло. Что сказать, просто - МАШИНА!
Ссылка на удивительные партии murtania для подгрузки в PGN spy. Бонусом к ним статистика и с недавнего BlitzBusinessChess, там все намного человечнее: https://disk.yandex.ru/d/hwK010U7knkX5Q
Идем дальше. Схожий уровень, но на протяжении не 5, а 10 партий продемонстрировал другой шахматист. Оно и не удивительно, и в реальной жизни играет посильнее :) да еще и рейтинг фаворит на своей доске. Поэтому, мы конечно же верим (на самом деле нет), что играть он может так:
Houdini_15_1
Stockfish_15_1
Komodo_10
Удивительная, исключительная точность! Магнус кусает локти! Ведь ему далеко до уровня AIDARED https://lichess.org/@/AIDARED
Правда в 11 туре, как говорится, машина сломалась или айдаред решил продемонстрировать джентльменство и слил партию с кучей ошибок. Но ничего с кем не бывает? Тем более же был же человеком, буквально накануне, показывал вполне себе земной хороший уровень
Stockfish_15_1 (накануне турнира)
Ссылка на рассматриваемую статистику AIDARED для подгрузки в PGN spy: https://disk.yandex.ru/d/T_g7g9LevpZxSQ
Та же история с zaichko_andrej_1979 https://lichess.org/@/zaichko_andrej_1979. НИ ОДНОЙ проигранной позиции во всех 11 партиях в совокупности с потрясающей точностью ходов по всем трем движкам!
Stockfish_15_1
Houdini_15_1
Komodo_10
Хотя буквально 10-11 апреля, когда крайний раз играл блиц 3+2 на платформе игра получалась гораздо человечнее с противниками менее мастеровитыми
Stockfish_15_1 (до турнира)
Файлы по zaichko_andrej_1979: https://disk.yandex.ru/d/TlGMrSKsEJuVxw
Едем дальше, чем дальше, тем хитрее. Тут уже и проигранные позиции встречаются гораздо чаще и точность всего-то на уровне каких-то гроссов рейтингом 2600 :) Но мы почему-то все равно не верим и придираемся :) Хотя перед нами никнейм Makalexa https://lichess.org/@/Makalexa В профиле указано, что под никнеймом скрывается женский Международный мастер, тренер Lichess
Stockfish_15_1 (13 партий перед финалом)
Не спорю, играет хорошо, Ваш покорный судья играет судя по анализу движков - сильно хуже. Но начинается финальный турнир и просыпается мафия машина!
Стокфиш вроде бы еще не сильно ругается.
Stockfish_15.1
А вот Комодо и Гудини - беспощадны. И считают, что самому Магнусу пришлось бы очень сильно попотеть!
Komodo_10
Houdini_15
Ну был же человек, буквально вчера! А тут такое. Особенно прекрасна точность партии с bazintolya, где в острейшей староиндийке за черных попадание в первые три линии 100% на всех трех (!) движках. Ни один ход не ухудшил позицию в неясной позиции ни на каплю!
Материалы по makalexa для загрузки в pgn spy: https://disk.yandex.ru/d/2w5eXcWSONJ3TA
БЫЛО ПОДОЗРЕНИЕ
Повторюсь, расследование и ответственность за его результаты не давала нормально жить и спать уже двое суток. Внутри тебя борются два мнения: 1) "Да, нет, не может быть, чтобы он читерил. Зачем ему это?" 2) "Что то уж больно подозрительная точность в его партиях, по-любому жульничал". И первое на самом деле всегда сильнее, так как хочется всегда верить в лучшее в людях, но второе грызет и грызет и ты ищешь последний аргумент, чтобы быть 100% уверенным в своей правоте. Ниже два никнейма, которые после финала под огромнейшим подозрением, но утверждать даже после pgn spy с полной уверенностью не можем, что люди читерили. Так как за тот и другой никнейм, в отличие от вышеперечисленных, есть аргументы.
Никнейм TimIlyin https://lichess.org/@/TimIlyin Под ним скрывается Международный мастер с рейтингами в районе 2500. Это один из самых (если не самый) высокий официальный рейтинг на турнире. Мы сравнили статистику нашего турнира и турнира мая 2022. Почему мая 2022 года? Потому что там мы смогли найти хотя бы несколько партий подряд без берсерков. Вне турнира TimIlyin постоянно играет блиц с берсерками и понятно, что с ними статистику сравнивать некорректно. И теперь обязательное наше требование будет не просто отыграть минимум 15 рейтинговых партий, а отыграть их без берсерков :) Итак официальный рейтинг 2500, подразумеваем, что человек играет +- на уровне Романа Овечкина, статистика по которому в верху этого поста. Смотрим стокфиш нашего турнира:
Смущает, что мало проигранных позиций, и при этом они все в партии с IgorKrasnodar во втором туре, у которого рейтинг 1911 на Личесс, и который занял 50 из 53 мест. То есть реально он мог проиграть аутсайдеру турнира. Но здесь можно сказать, что просто одной левой обыграл и чуть не поплатился за недооценку соперника. С более мастеровитыми игроками - доминировал. Но опять же, было одно поражение и сдача в позиции не ниже -5, но в принципе безнадежной. И второй момент который смущает - вот эта острейшая партия: https://lichess.org/wA89Pdcg (кстати соперника mashinist80 личесс забанил сам моментально после этой партии), в которой просто феноменальная точность. Но здесь возможно эту острую ветку просто TimIlyin хорошо знал. На гроссмейстерском уровне это возможно.
И берем, что-то из партий 3+2, но без берсерков. Такой временной интервал хотя бы с 10 партиями подряд без берсерков найти оказалось непросто, но нашли его в 15 мая 2022 на межклубной арене
Как видим точность ходов примерно совпадает, доминация также, хотя соперники там были заметно послабже. В общем в финале у TimIlyin выступление с подозрительной доминацией, но с браком вполне допустим для игрока уровня ММ или МГ. В общем, надеемся, что наши подозрения в его адрес оказались паранойей.
Файлы для загрузки в pgn spy по TimIlyin: https://disk.yandex.ru/d/kq5_ecEg6sL1Lg
И второй, кого подозревали: https://lichess.org/@/Zlatan2010
В живых шахматах недавно вошел в тройку лучших в своем регионе в блице, играет по уровню МФ и даже сам Роман Овечкин вспоминает, что когда-то на зональной классике в безнадежной позиции, предложил ему ничью и он согласился, по-видимому, напугавшись рейтинга визави.
Его стокфиш на финальном турнире:
Тоже довольно высокий показатель точности в неясных позициях, но довольно часто находился в позициях с оценкой -5 и ниже, поэтому говорить о полнейшей доминации не приходится. Плюс большой коэффициент брака в этих тяжелых позициях (если бы движок был под боком, наверное был бы соблазн в таких позициях в него заглянуть и сделать точный ход). А вот стокфиш как оценивает его игру в партиях перед турниром:
Здесь разница в точности побольше, чем у TimIlyin но не прям, чтобы она была как пропасть. Это подозрительно, но на обвинять в читерстве в этом случае человека, мы не можем. Значит не обвиняем :)
По Zlatan2010 файлы: https://disk.yandex.ru/d/kMyYAcn3nomGcg
Извиняюсь за нудятину, но пришлось все по полочкам разложить, потому что по опыту знаю, что сознаться никто не сознается, а недовольства от участников, попавшихся на читерстве и их коллег - будет вагон. Предлагаем эти данные предоставить в местные федерации шахмат и пусть они не предвзято их также проанализируют.
Решение о бане читеров и их команд - окончательное. Если кто-то сможет доказать мою - не правоту, прошу это также сделать логическими аргументами, а не эмоциями. По-моему аргументы в обвинении читеров - железобетонные для людей, разбирающихся в шахматах и онлайн-шахматах.
Виктор Безматерных, руководитель Международной шахматной онлайн бизнес-лиги