5 подписчиков
Последний экзамен человечества
Звучит как название фантастического фильма.
Но это не название фильма, а реальный тест, который бросает вызов искусственному интеллекту.
🎚️ Зачем был создан этот бенчмарк ?
Существующие тесты, на которых ИИ уже набивает более 90% точности, превратились для моделей в легкие задачки. Нужно было что-то сложнее, масштабнее, а значит страшнее. И тут появляется «Последний экзамен человечества»!
⚡️ Вот что о нём важно знать:
🟢2700–3000 вопросов, чтобы никакое «угадывание» не прокатило.
🟢Охвачено более 100 предметов: от высшей математики до гуманитарных наук и новейших открытий.
🟢Вопросы выверены в два этапа: их фильтровали и профессиональные эксперты, и сами модели ИИ, чтобы окончательно убрать лёгкие варианты.
✍️ Как справились модели?
Даже самая продвинутая модель OpenAI на последнее обновление: 11.02.25 смогла выполнить лишь 14% точность экзамена. Другие системы ИИ выступили ещё слабее.
📱 Почему это важно?
«Последний экзамен человечества» не просто набор вопросов, а своего рода лакмусовая бумажка для всего прогресса в области ИИ. Если модель однажды научится его проходить, значит, она приблизилась к AGI, а не просто «зазубрила» трюки для старых бенчмарков.
📱 Мы видим, что ИИ ещё далёк от идеала, но уже сейчас ясно: будущее за симбиозом нашего творчества и машинной скорость.
1 минута
13 февраля 2025