OpenAI представила исследовательский предварительный просмотр Operator — агента, работающего на базе Computer-Using Agent (CUA), который объединяет возможности зрения GPT-4o с обучением с подкреплением для взаимодействия с графическими пользовательскими интерфейсами. CUA обрабатывает необработанные пиксельные данные и использует виртуальную мышь и клавиатуру для выполнения многошаговых задач в различных цифровых средах без опоры на API, специфичные для ОС.

  • CUA достигает результатов уровня state-of-the-art: 38,1% на OSWorld, 58,1% на WebArena и 87% на WebVoyager.
  • Агент работает через итеративный цикл восприятия, рассуждения с использованием chain-of-thought и действий, адаптируясь к неожиданным изменениям.
  • Меры безопасности включают отказ от выполнения вредоносных задач, блэклисты запрещённых сайтов, модерацию в реальном времени и подтверждение пользователем чувствительных действий.

Исследовательский предварительный просмотр доступен пользователям Pro Tier в США по адресу operator.chatgpt.com для сбора отзывов и уточнения мер безопасности по мере развития технологии.