研究人员推出了DevicesWorld，这是一个大规模可执行基准测试，旨在评估在包括移动设备、桌面设备和IoT设备在内的异构环境中运行的LLM-based智能体。

  • 该基准测试包含6,140个任务，将三类设备环境整合到一个统一的框架中，以实现跨设备交互。
  • 每个任务定义了自然语言目标、参与设备、初始状态、可执行动作、基于规则的验证器以及清理程序。
  • 对五个前沿LLM-agent系统的评估显示成功率较低，表现最好的系统仅达到12.5%。
  • 分析表明，智能体在信息获取、界面操作以及混淆源设备和输出设备方面经常遇到困难。

DevicesWorld提供了一个可复现且具有诊断价值的评估问题，以推动可靠跨设备智能体研究的发展。