Исследователи выпустили Mobile-Agent-v3, универсальный фреймворк GUI-агента, построенный на основе фундаментальной модели GUI-Owl, которая демонстрирует лучшие результаты среди открытых end-to-end моделей на десяти бенчмарках GUI. Система объединяет GUI-Owl-7B с самосовершенствующейся инфраструктурой генерации траекторий и масштабируемым обучением с подкреплением для улучшения возможностей автоматизации.
- GUI-Owl-7B достигает 66.4 на AndroidWorld и 29.4 на OSWorld, в то время как Mobile-Agent-v3 улучшает эти показатели до 73.3 и 37.7 соответственно.
- Фреймворк использует облачную виртуальную среду, охватывающую Android, Ubuntu, macOS и Windows, для генерации высококачественных данных взаимодействия через автоматическую генерацию запросов и проверку корректности.
- GUI-Owl объединяет привязку UI, планирование, семантику действий и паттерны рассуждений для поддержки принятия решений end-to-end как модульного компонента в мультиагентных системах.
- Команда разработала Trajectory-aware Relative Policy Optimization (TRPO) для онлайн-обучения с подкреплением, достигнув 34.9 на OSWorld при полностью асинхронном обучении.
Открытые модели обеспечивают самоусиливающийся цикл, который снижает требования к ручной аннотации и обеспечивает реальное выравнивание для задач автоматизации GUI.