Los investigadores presentan DevicesWorld, un benchmark ejecutable a gran escala diseñado para evaluar agentes basados en LLM que operan en entornos heterogéneos que incluyen dispositivos móviles, de escritorio e IoT.
- El benchmark contiene 6,140 tareas que integran tres clases de entornos de dispositivo en un marco unificado para la interacción entre dispositivos.
- Cada tarea define objetivos en lenguaje natural, dispositivos participantes, estados iniciales, acciones ejecutables, verificadores basados en reglas y procedimientos de limpieza.
- La evaluación de cinco sistemas LLM-agent de vanguardia revela tasas de éxito bajas, con el mejor rendimiento alcanzando solo el 12.5%.
- El análisis muestra que los agentes a menudo luchan con la adquisición de información, la manipulación de la interfaz y la confusión entre dispositivos de origen y de salida.
DevicesWorld proporciona un problema de evaluación reproducible y diagnósticamente útil para avanzar en la investigación sobre agentes confiables entre dispositivos.