연구원들은 기반이 되는 GUI-Owl 모델 위에 구축된 범용 GUI 에이전트 프레임워크인 Mobile-Agent-v3를 출시했습니다. 이는 10개의 GUI 벤치마크 전반에서 오픈소스 엔드투엔드 모델 중 최첨단 성능을 달성합니다. 이 시스템은 GUI-Owl-7B와 자기 진화형 궤적 생성 프레임워크, 확장 가능한 강화학습을 결합하여 자동화 능력을 향상시킵니다.
- GUI-Owl-7B는 AndroidWorld에서 66.4, OSWorld에서 29.4를 달성하며, Mobile-Agent-v3는 이 점수를 각각 73.3과 37.7로 개선합니다.
- 이 프레임워크는 Android, Ubuntu, macOS, Windows에 걸친 클라우드 기반 가상 환경을 활용하여 자동 쿼리 생성 및 정확성 검증을 통해 고품질 상호작용 데이터를 생성합니다.
- GUI-Owl은 UI 그라운딩, 계획, 액션 시맨틱스, 추론 패턴을 통합하여 멀티 에이전트 시스템의 모듈 구성 요소로서 엔드투엔드 의사결정을 지원합니다.
- 팀은 온라인 강화학습을 위해 궤적 인식 상대 정책 최적화(TRPO)를 개발하여 완전히 비동기적인 학습으로 OSWorld에서 34.9를 달성했습니다.
오픈소스화된 모델들은 수동 주석 달기의 요구사항을 줄이고 GUI 자동화 작업에 대한 실제 세계 정렬을 가능하게 하는 자기 개선 루프를 제공합니다.