O artigo apresenta o GUI-Owl-1.5, um modelo nativo de agente GUI com variantes instruct e thinking em tamanhos que variam de 2B a 235B parâmetros. Ele suporta múltiplas plataformas, incluindo ambientes desktop, mobile e browser, para habilitar cloud-edge collaboration e interação em tempo real.
- Alcança resultados state-of-the-art em mais de 20 benchmarks de GUI entre modelos open-source, marcando 56.5 no OSWorld, 71.6 no AndroidWorld e 48.4 no WebArena para tarefas de automação.
- Atinge 80.3 no ScreenSpotPro para tarefas de grounding, 47.6 no OSWorld-MCP e 46.8 no MobileWorld para tool-calling, e 75.5 no GUI-Knowledge Bench para tarefas de memória e conhecimento.
- Incorpora um Hybrid Data Flywheel usando ambientes sandbox simulados e baseados na nuvem para melhorar a eficiência e qualidade da coleta de dados.
- Utiliza uma thought-synthesis pipeline unificada para aprimorar as capacidades de raciocínio, focando no uso de Tool/MCP, memória e adaptação multi-agent.
- Propõe o algoritmo RL MRPO do ambiente para abordar conflitos multiplataforma e baixa eficiência de treinamento em tarefas long-horizon.
Os modelos GUI-Owl-1.5 são open-sourced, com uma demo cloud-sandbox online disponível.