1335 подписчиков
ИИ начал тупеть. Или может стареть.
В последнее время сообщество интернет-наблюдателей активно обсуждает потенциальные проблемы, связанные с последней версией языковой модели GPT-4, разработанной компанией OpenAI. В сети появились отчеты о снижении точности и мощности GPT-4, вызывая обеспокоенность среди пользователей и экспертов.
Недавнее исследование, проведенное совместно Стэнфордским университетом и Калифорнийским университетом в Беркли, подтверждает эти опасения. Исследование, названное "Как поведение ChatGPT меняется со временем?", сравнивало возможности GPT-4 и предыдущей версии GPT-3.5 в период с марта по июнь.
При тестировании на наборе данных из 500 задач исследователи обнаружили, что точность GPT-4 снизилась с 97,6% (488 правильных ответов) в марте до всего лишь... приготовьтесь... 2,4% в июне после обновлений языковой модели.
Это явное ухудшение производительности вызвало серьезные опасения. Другим важным тестом, проведенным исследователями, был эксперимент с использованием метода цепочки размышлений. Они задали вопрос GPT-4: "Является ли 17 077 простым числом?" Однако модель не только ошибочно ответила "нет", но также не предоставила объяснения своего вывода. В то же время GPT-3.5, доступный через предварительный просмотр ChatGPT, дал правильный ответ и подробное объяснение математического процесса.
Кроме того, страдает и генерация программного кода. Разработчики LeetCode отметили, что производительность GPT-4 на их наборе данных из 50 простых задач снизилась с 52% до 10% в период с марта по июнь. Это вызывает серьезные сомнения в эффективности и надежности GPT-4 в области программирования.
Однако стоит отметить, что OpenAI внедряет новые модели GPT-4 с использованием более экономичных и специализированных подходов, которые могут быть дешевле в эксплуатации. Это может быть причиной снижения качества ответов GPT-4, особенно в критических ситуациях, когда множество организаций полагается на технологию OpenAI для своей работы.
Несмотря на эти проблемы, стоит отметить, что ChatGPT, основанный на GPT-3.5, также имел свои ограничения, включая ограниченное знание событий после 2021 года. Однако информационная регрессия, которую мы наблюдаем сейчас, представляет собой новую проблему, которая требует внимания и обновлений.
OpenAI активно работает над обновлениями и решением этих проблем, поскольку они понимают важность предоставления надежных и точных решений для пользователей. В ближайшем будущем ожидается улучшение GPT-4 и предоставление более надежных ответов.
2 минуты
22 июля 2023