В мире искусственного интеллекта вопрос измерения «интеллекта» машины становится всё более актуальным по мере приближения к созданию общего искусственного интеллекта (AGI) — искусственного интеллекта, способного выполнять широкий спектр задач, включая те, которые обычно требуют человеческого интеллекта.
Недавно компания OpenAI представила новую систему оценки интеллектуальной сложности моделей ИИ. Эта система поможет лучше понять, насколько продвинулись исследования в области искусственного интеллекта и насколько близки мы к созданию AGI.
История измерения интеллекта
Первые попытки измерить интеллект начались в 1905 году с разработки теста IQ. С тех пор ведутся дискуссии о точности таких тестов, учитывая сложность и многогранность понятия интеллекта. Измерение «умственных способностей» языковых моделей (LLM) ещё более проблематично из-за непонимания внутренних процессов ИИ и отсутствия единого определения интеллекта для машин.
Важность измерения ИИ
Измерение возможностей ИИ важно для:
- оценки прогресса в создании AGI;
- обеспечения безопасности развития и применения ИИ;
- решения этических вопросов;
- определения направлений дальнейших исследований.
Новая система оценки OpenAI
OpenAI предложила многоуровневый подход к классификации моделей ИИ:
- Базовые чат-боты: отвечают на вопросы, выполняют простые задачи.
- Улучшенные навыки рассуждения: решают сложные задачи, анализируют информацию.
- Многоступенчатые задачи: выполняют сложные задачи, планируют стратегии.
- «Инноваторы»: вносят вклад в научные открытия, генерируют новые идеи.
- ИИ-организации: группы ИИ, работающие над общими целями.
Текущее положение GPT-4
GPT-4 находится на уровне 1, но приближается к уровню 2, демонстрируя улучшенные навыки рассуждения, контекстуальное понимание и междисциплинарные знания.
Ожидается развитие более комплексных тестов, стандартизация оценки, разработка этических принципов и междисциплинарный подход к измерению интеллекта ИИ.
Система оценки OpenAI — важный шаг в измерении возможностей ИИ. По мере развития технологий важность точной оценки будет возрастать для обеспечения безопасного и этичного развития ИИ.