Вы, наверное, слышали фразу «Ты сам себе худший критик». OpenAI восприняла её буквально и создала модель CriticGPT, которая анализирует и критикует ответы GPT-4. Удивительно, но эта модель работает на основе самого GPT-4.
Как CriticGPT обнаруживает ошибки?
CriticGPT обучена выявлять ошибки и неточности. Исследователи снабжали её ложной информацией и обучали правильно критиковать. На данный момент модель используется для оценки кодирования GPT-4, поскольку в этом случае ответы более однозначны. Открытые вопросы, наоборот, могут вызвать субъективные ответы, что усложняет оценку.
Люди против CriticGPT
Хотя компании, занимающиеся искусственным интеллектом, всё ещё полагаются на людей для оценки ответов моделей, CriticGPT показывает высокие результаты. Модель обнаружила 85% ошибок в коде, тогда как люди — только 25%. Оптимальным вариантом оказалось сочетание человеческого и машинного подходов, что увеличило эффективность до 60%.
Будущее самокритики в ИИ
OpenAI не единственная, кто работает в этом направлении. Исследователи из Оксфордского университета разработали алгоритм, обнаруживающий галлюцинации ИИ в 79% случаев, что на 10% лучше текущих методов. Однако такой подход требует значительно больше энергии.
Заключение
CriticGPT и подобные технологии открывают новые горизонты в развитии искусственного интеллекта. Как вы думаете, стоит ли доверять таким моделям? Или люди всё же останутся лучшими критиками? Поделитесь своим мнением в комментариях.
