Стартап OpenAI анонсировал нового нейросетевого ассистента под названием Operator, который способен пользоваться интернетом, как обычный пользователь.
Основой Operator служит новая модель CUA (computer-using agent) — «агент, использующий компьютер». Эта передовая технология объединяет возможности компьютерного зрения GPT-4o с мощными моделями рассуждений, обученными с подкреплением актуальной информации из сети. Главное преимущество CUA заключается в том, что она позволяет системе управлять компьютером, как это делает человек: анализировать изображение экрана и использовать виртуальные мышь и клавиатуру.
CUA обрабатывает необработанные пиксельные данные экрана для понимания текущей ситуации и выполняет действия через виртуальные устройства ввода. Ассистент легко справляется с многоэтапными задачами, обрабатывает ошибки и адаптируется к непредвиденным изменениям. Это позволяет ему заполнять формы, перемещаться по сайтам и выполнять другие сложные действия без использования специальных API.
Operator уже доступен подписчикам ChatGPT Pro. В будущем OpenAI обещает сделать его доступным для всех пользователей ChatGPT.