Pesquisadores apresentam o DevicesWorld, um benchmark executável em larga escala projetado para avaliar agentes baseados em LLM operando em ambientes heterogêneos que incluem dispositivos móveis, desktop e IoT.
- O benchmark contém 6.140 tarefas que integram três classes de ambientes de dispositivo em uma estrutura unificada para interação entre dispositivos.
- Cada tarefa define objetivos em linguagem natural, dispositivos participantes, estados iniciais, ações executáveis, verificadores baseados em regras e procedimentos de limpeza.
- A avaliação de cinco sistemas LLM-agent de ponta revela taxas de sucesso baixas, com o melhor desempenho atingindo apenas 12,5%.
- A análise mostra que os agentes frequentemente têm dificuldades na aquisição de informações, manipulação da interface e confusão entre dispositivos de origem e de saída.
O DevicesWorld fornece um problema de avaliação reproduzível e diagnosticamente útil para avançar a pesquisa sobre agentes confiáveis entre dispositivos.