이 논문은 2B에서 235B 파라미터 크기의 인스트럭션과 사고 변형을 갖춘 네이티브 GUI 에이전트 모델인 GUI-Owl-1.5를 소개합니다. 이는 클라우드와 엣지 간 협업 및 실시간 상호작용을 가능하게 하기 위해 데스크톱, 모바일, 브라우저 환경을 포함한 여러 플랫폼을 지원합니다.
- 오픈소스 모델 중 20개 이상의 GUI 벤치마크에서 최상위 결과를 달성했으며, 자동화 작업에서 OSWorld는 56.5, AndroidWorld는 71.6, WebArena는 48.4의 점수를 기록했습니다.
- 그라운딩 작업에서는 ScreenSpotPro에서 80.3, 도구 호출에서는 OSWorld-MCP에서 47.6 및 MobileWorld에서 46.8, 메모리 및 지식 작업에서는 GUI-Knowledge Bench에서 75.5에 도달했습니다.
- 데이터 수집의 효율성과 품질을 향상시키기 위해 시뮬레이션된 클라우드 기반 샌드박스 환경을 사용하는 하이브리드 데이터 플라이휠을 통합했습니다.
- 도구/MCP 사용, 메모리, 멀티 에이전트 적응에 중점을 둔 추론 능력을 강화하기 위한 통합 사고 합성 파이프라인을 활용합니다.
- 장기 작업에서의 멀티 플랫폼 충돌과 낮은 학습 효율성을 해결하기 위해 MRPO 환경 RL 알고리즘을 제안했습니다.
GUI-Owl-1.5 모델은 오픈소스화되었으며, 온라인 클라우드 샌드박스 데모를 이용할 수 있습니다.