Просто и наглядно.
В марте 2025-го в интернете появился необычный сайт – Minecraft Benchmark (MC-Bench). Его придумал и запустил старшеклассник Ади Сингх, чтобы проверить, насколько хорошо современные ИИ могут строить в Minecraft. Рассказываем, зачем ему это.
Как это работает?
Сайт MC-Bench – тест на программирование нейросетей: модели ИИ создают код, который превращается в заданные постройки. Затем пользователи оценивают результат и голосуют за лучший вариант.
Например, если ИИ получают задание «соорудить ананас», пользователи могут выбрать наиболее удачную версию, ориентируясь только на внешний вид. Процесс интуитивно понятен – ведь сравнить готовые постройки намного проще, чем разбираться в коде.
Почему именно Minecraft?
Minecraft – крайне продаваемая игра, чей визуальный стиль знаком миллионам людей. Даже если кто-то не играл, он может понять, какая постройка ближе к заданной теме.
«Minecraft позволяет людям легче увидеть прогресс в развитии ИИ», – объяснил Ади Сингх: «Люди привыкли к его стилю и атмосфере».
ИИ традиционно тестируют с помощью стандартных задач, но такие тесты часто играют на руку моделям: они умеют запоминать правильные ответы и решать простые математические или языковые задачи. Но как только дело касается чего-то простого и в то же время нестандартного, то результат может получиться слабее. Например, GPT-4 набирает 88% на экзамене LSAT, но не всегда правильно посчитает буквы в слове strawberry. Claude 3.7 Sonnet справляется с тестами по программированию, но проигрывает в Pokemon пятилетним детям.
«В настоящее время мы делаем простые сборки, чтобы оценить, насколько далеко ушли от эпохи GPT-3», – отметил Сингх. «Игры – отличное средство для проверки агентного мышления, ведь они безопаснее, чем реальный мир, и дают больше контроля над тестированием».
Оценка ИИ – сложная задача. Игры позволяют тестировать более сложные навыки вроде гибкости мышления и способности к планированию. Если сайт MC-Bench покажет себя полезным, крупные компании могут начать использовать его для оценки качества своих моделей. И нейросети сделают шаг вперед.
* * *
Не любил природу, пока не сыграл в Minecraft. Теперь хожу в походы и помогаю родителям в огороде
Все, что мы знаем о Death Stranding 2: On the Beach
2 способа создать канал в телеграме: прокачиваем личный бренд
