Хотя он и не уточнил, похоже, что Альтман в первую очередь говорит об изменениях в модели, которые сделали ее ответы при использовании в качестве чат-бота "более прямыми, менее многословными", для чего OpenAI приводит следующий пример:
Обновленная модель также получает более высокие оценки по большинству распространенных тестов искусственного интеллекта, включая тест вопросов и ответов Google-Proof для выпускников. Этот сложный набор данных был разработан для проверки способностей студентов LLM и включает в себя тест из 448 вопросов с несколькими вариантами ответов, вопросы которых распределены по всем научным областям. Вопросы разработаны экспертами в соответствующих областях, чтобы оценить не только то, насколько хорошо LLM могут отвечать на вопросы, но и насколько хорошо они могут контролироваться людьми. Этот тест является самым слабым тестом GPT-4, и новая версия улучшает его результат в этом тесте примерно с 35% до чуть менее 50%, что является отличным результатом в этом сложном тесте.
Другие тесты в которых наблюдаются улучшения, включают тест MATH, ориентированный на рассуждение, тест по математике для многоязычной начальной школы (MGSM) и тест дискретного рассуждения по абзацам (DROP). DROP является одним из самых требовательных тестов искусственного интеллекта, и GPT-4 Turbo уже была одной из лучших моделей в этом тесте, но новая версия улучшает ее результат в этом сложном тесте чуть более чем на 80%, помещая ее в число лучших моделей, достигшая таких высот. (Следующий лучший результат у Gemini 1.5 Turbo от Google - 78,9%).
Наряду с новой моделью, которая обновляет знания GPT-4, OpenAI также отмечает, что GPT-4 Turbo с Vision - модель, которая объединяет возможности анализа изображений. Теперь она общедоступна с использованием своего API. Запросы Vision теперь также могут использовать режим JSON и вызов функций, что делает их значительно более универсальными, чем раньше. В ветке Твиттера указанной выше, разработчики опубликовали множество впечатляющих примеров приложений, созданных с использованием этого API.