研究者らは、モバイル、デスクトップ、IoTデバイスを含む異種環境間で動作するLLMベースのエージェントを評価するために設計された大規模な実行可能ベンチマークであるDevicesWorldを紹介した。

  • このベンチマークには、クロスデバイス相互作用のための統一フレームワークに3つのクラスのデバイス環境を組み合わせた6,140のタスクが含まれている。
  • 各タスクは、自然言語による目標、参加デバイス、初期状態、実行可能なアクション、ルールベースの検証器、およびクリーンアップ手順を定義する。
  • 5つの最先端LLMエージェントシステムの評価では、低い成功率が明らかになり、最良のパフォーマンスでも12.5%にとどまった。
  • 分析によると、エージェントは情報の取得、インターフェースの操作、ソースデバイスと出力デバイスの混同に頻繁に苦労している。

DevicesWorldは、信頼性の高いクロスデバイスエージェントに関する研究を推進するための再現可能で診断的に有用な評価問題を提供する。