Крупномасштабное исследование показало, что современные генеративные модели искусственного интеллекта уже превосходят средние показатели человеческой креативности в стандартизированных лингвистических тестах. Однако до уровня наиболее творческих людей ИИ по-прежнему не дотягивает.
Крупнейшее сравнение человека и машины
Исследование провела группа учёных из Университета Монреаля при участии одного из пионеров ИИ Йошуа Бенджио. По словам авторов, это крупнейшая на сегодняшний день сравнительная оценка человеческого и машинного творчества: в ней приняли участие около 100 тыс. человек, а также несколько ведущих языковых моделей.
Результаты опубликованы в журнале Scientific Reports.
Как измеряли креативность
В качестве основного инструмента использовался психологический тест Divergent Association Task (DAT). Участникам предлагается назвать 10 слов, максимально различающихся по смыслу. Чем больше среднее семантическое расстояние между словами, тем выше балл креативности.
DAT хорошо коррелирует с другими известными тестами на дивергентное мышление, генерацию идей и творческое решение задач, но при этом выполняется быстро — что и позволило привлечь столь большую выборку участников через интернет.
Результаты: ИИ выше среднего, но ниже элиты
По итогам тестирования модели GPT-4 (OpenAI), Gemini Pro 1.5 (Google), а также Llama 3 и Llama 4 (Meta) превзошли среднестатистического человека.
Однако при сравнении с более сильными группами людей картина меняется:
- средний результат топ-50% участников оказался выше, чем у всех протестированных моделей;
- разрыв ещё сильнее увеличился при сравнении с топ-25% и топ-10% самых креативных участников.
«Этот результат может показаться удивительным — даже тревожным. Но он подчёркивает важный факт: даже лучшие системы ИИ всё ещё не достигают уровня самых творческих людей», — отметил руководитель исследования Карим Джерби.
Проверка на «настоящее» творчество
Чтобы понять, применимы ли эти оценки к более сложным задачам, исследователи также протестировали ИИ и людей на генерации:
- хайку,
- кратких синопсисов фильмов,
- флеш-фикшн рассказов.
Результаты оценивались с помощью метрики дивергентной семантической интеграции, измеряющей разнообразие и связность идей внутри нарратива.
Хотя ИИ показал достойные результаты, человеческие тексты стабильно оказывались более креативными, особенно по глубине и интеграции идей.
Креативность ИИ можно усилить
Исследование также показало, что уровень «креативности» ИИ существенно зависит от настроек и формулировок заданий.
- При увеличении параметра temperature (уровня случайности генерации) у GPT-4 модель превзошла 72% человеческих участников.
- Явная инструкция использовать, например, стратегию, основанную на различной этимологии, значительно улучшала результаты как GPT-3.5, так и GPT-4 по сравнению с абстрактными формулировками.
Что это значит для людей
По мнению авторов, сохраняющийся разрыв между ИИ и самыми творческими людьми должен успокаивать представителей креативных профессий. Однако недооценивать ИИ тоже не стоит.
«Генеративный ИИ стал чрезвычайно мощным инструментом на службе человеческого творчества. Он не заменит создателей, но глубоко изменит то, как они воображают, исследуют и создают», — считает Джерби.
Неудобный вопрос остаётся открытым
Исследование дополняет растущий массив работ, ставящих под сомнение представление о креативности как об исключительно человеческом качестве. Хотя оно вряд ли положит конец философским и культурным спорам на эту тему, работа предлагает одну из наиболее объективных и масштабных попыток количественно измерить творческие способности ИИ и человека.
Источник: https://singularityhub.com/2026/01/27/ai-now-beats-the-average-human-in-tests-of-creativity/
Больше интересного – на медиапортале https://www.cta.ru/