По результатам статистически значимого теста, проведенного энтузиастом технологий искусственного интеллекта, передовая языковая модель GPT-4 Turbo от OpenAI демонстрирует меньшую продуктивность при решении сложных задач в декабре по сравнению с другими месяцами, например маем.
OpenAI утверждает, что их модель способна справляться со сложными запросами благодаря масштабной тренировке. Она также может обрабатывать до 128 000 слов за раз. Однако исследователь Роб Линч выяснил, что в декабре объем выдаваемого GPT-4 Turbo текста меньше.
В частности, в среднем за 477 тестовых запусков в мае модель давала вывод в 4298 слов (токенов), а в декабре — значимо меньше, 4086 токенов, то есть примерно на 5 процентов ниже обычной продуктивности.
По мнению профессора Итана Моллика, модель могла таким образом усвоить тенденцию людей меньше работать в декабре из-за праздников. Это говорит о том, что даже исчерпывающих усилий по избавлению систем ИИ от вредных предубеждений недостаточно.
Ранее также отмечалась тенденция модели GPT к лени, когда она стала давать неполные ответы в запросах. Пользователи даже вынуждены были притворяться инвалидами ради более развернутых ответов. OpenAI пообещала незамедлительно исправить недостатки модели.