OpenAI представила новую версию генеративного искусственного интеллекта GPT-4o, которая ляжет в основу чат-бота ChatGPT. Буква О означает сокращение от слова omni (всесторонний).
GPT-4o работает с аудио, изображениями и текстом. По словам разработчиков, она реагирует на голос в среднем за 320 миллисекунд, что сравнимо с реакцией в разговоре.
Новая версия соответствует производительности GPT-4 Turbo, но «лучше воспринимает изображение и аудио по сравнению с существующими моделями», отмечает OpenAI.
«До GPT-4o вы могли использовать голосовой режим для общения с ChatGPT со средней задержкой 2,8 секунды (GPT-3.5) и 5,4 секунды (GPT-4). Голосовой режим в этих версиях состоит из трех отдельных моделей: одна простая модель транскрибирует аудио в текст, GPT-3.5 или GPT-4 выводит текст, а третья простая модель преобразовывает этот текст обратно в аудио», — пояснили в компании.
В результате GPT-4 теряет множество информации и не может воспроизводить смех, пение или выражать эмоции. «В случае с GPT-4o мы обучили единую новую модель сквозному анализу текста, изображения и аудио; это означает, что все входные и выходные данные обрабатываются одной и той же нейронной сетью», — рассказали разработчики. Модель доступна более чем на 50 языках, в том числе на русском.