OpenAI представила новую усовершенствованную модель под названием GPT-4 Omni, или просто GPT-4o. Особенность этой модели в том, что она единовременно работает с разными типами данных - текстом, изображениями, видео и аудио.
Ранее в ChatGPT для обработки различных форматов использовались отдельные нейросетевые модели, что влияло на скорость и качество ответов. Новое поколение GPT-4o фактически объединило все эти возможности, реализовав мультимодальный подход в современных нейронных сетях.
Особый акцент на презентации был сделан на способностях GPT-4o выступать в роли голосового помощника. Нейросеть демонстрирует эмоциональную окраску речи, различные интонации и даже харизматичность, что разработчики сравнивали с персонажем фильма "Она".
Презентация осветила основные сценарии использования этой модели и рассказала, где пользователи смогут ее попробовать.
ГОЛОСОВОЙ АССИСТЕНТ
Голосовой ассистент на основе GPT-4o обладает улучшенной способностью распознавать речь и вести диалоги в режиме реального времени. Взаимодействие с ним стало более естественным - время отклика на аудиозапросы составляет в среднем 0,3 секунды, что сопоставимо со скоростью реакции человека.
Нейросеть теперь не просто воспроизводит монотонный роботизированный голос, а способна выражать эмоции, менять интонации и даже петь. Она может смеяться, передавая более живое и эмоциональное общение.
ПЕРЕВОД В РЕАЛЬНОМ ВРЕМЕНИ
Передовая нейросеть GPT-4o продемонстрировала свои впечатляющие языковые способности в реальном времени. Когда она услышала итальянскую речь от молодой девушки, ассистент мгновенно переводил ее на английский, позволяя англоговорящему парню понимать и поддерживать диалог. И наоборот, когда парень общался на английском, нейросеть бегло переводила его слова на итальянский язык, обеспечивая плавное и естественное взаимодействие между собеседниками.
Поразительная скорость работы GPT-4o, сопоставимая со скоростью реакции человека, создавала эффект живого разговора. Нейросеть не только точно переводила слова, но и умело передавала эмоциональную окраску, интонации и нюансы общения. Она могла смеяться, шутить и даже петь, делая диалог более живым и увлекательным. Это позволило итало- и англоговорящим участникам беседы чувствовать себя максимально комфортно и свободно, словно они говорили на одном языке.
УЛУЧШЕНИЯ И МОДИФИКАЦИИ
Одним из ярких примеров стала транскрипция видеозаписи, где GPT-4o не только точно распознала речь, но и смогла выделить и идентифицировать различных спикеров. Это открывает новые возможности для обработки записей совещаний, интервью и других мультимедийных материалов.
Важно отметить, что GPT-4o работает по принципу end-to-end, что означает объединение различных модальностей - текста, аудио и изображений - в единую интегрированную систему. Это позволяет модели эффективно обрабатывать и генерировать любые комбинации этих типов данных, значительно расширяя ее возможности по сравнению с предыдущими версиями.
Кроме того, GPT-4o демонстрирует впечатляющие результаты в обработке текста на различных языках, приближаясь к уровню производительности GPT-4 Turbo на английском. Особо стоит отметить расширенное контекстное окно модели, позволяющее ей поддерживать развернутые разговоры продолжительностью до нескольких минут и даже создавать краткие пересказы длинных видеороликов.
ОБЩЕНИЕ КАК С ДРУГОМ
Интересно, что GPT-4o продемонстрировала способность к интеллектуальному анализу ситуации в реальном времени. Во время прямой презентации ее возможностей, нейросеть «заметила», что сотрудник OpenAI, проводящий презентацию, находился в приподнятом настроении.
Более того, GPT-4o проявила социальную чуткость, задав ему вопрос о причине его радости. Такая реакция свидетельствует о развитии у нейросети весьма тонких навыков восприятия и понимания невербальных cигналов, что выходит за рамки простого распознавания образов.
Когда сотрудник раскрыл, что его радость была вызвана возможностью представить возможности самой GPT-4o, нейросеть, по-видимому, смутилась. Это говорит о том, что модель способна не только анализировать ситуацию, но и реагировать на нее соответствующим образом, проявляя эмпатию и социальную осведомленность.
УЧИТЬ ЯЗЫК СТАЛО ПРОЩЕ
Современные нейросетевые модели способны выполнять задачи перевода различных объектов на другие языки. Например, в демонстрационном видео GPT-4 были показаны фрукты, ручки и плюшевая игрушка, и модель успешно перевела названия этих предметов на другие языки. Такая возможность наглядно демонстрирует широкий функционал передовых языковых моделей искусственного интеллекта.
Подобные технологии открывают новые возможности в сферах, где требуется быстрый и точный перевод визуальной информации. Это может быть полезно в образовании, туризме, торговле, логистике и многих других областях. Нейросетевые модели способны воспринимать контекст и учитывать особенности разных языков, что повышает качество и точность переводов по сравнению с традиционными методами.
УМЕЕТ ПЕТЬ
Сотрудница OpenAI решила протестировать возможности технологий распознавания и синтеза речи GPT-4. Она попросила нейросеть сочинить песню, посвященную Сан-Франциско, и исполнить ее многоголосым а капелла-вокалом.
GPT-4 успешно справилась с этой задачей. Она сгенерировала лирику, посвященную красотам и достопримечательностям города, и сложила ее в мелодичную композицию. Затем нейросеть исполнила получившуюся песню, используя несколько синтезированных вокальных партий одновременно.
Несмотря на ограничения в части генерации инструментального сопровождения, демонстрация способностей GPT-4 в области вокального творчества впечатлила сотрудницу OpenAI. Это наглядно показало, как быстро развиваются технологии искусственного интеллекта в направлении создания и исполнения музыкальных произведений.
Эксперимент также открывает перспективы для применения подобных решений в сферах, где требуется высококачественный синтез речи и вокала - от развлекательной индустрии до образовательных и медицинских приложений. По мере совершенствования технологий, возможности нейросетей в музыкальном творчестве будут только расширяться.