研究者らは、大規模言語モデルエージェントを多言語の長期職場ワークフローで評価するために設計されたベンチマークであるPolyWorkBenchを発表した。これは、既存のベンチマークが通常単一言語設定を前提としているのに対し、現実世界のアプリケーションでは混合言語の入出力が多く関与するというギャップに対応するものである。

  • このベンチマークは、商業、知識労働、法分析、ローカライゼーション、製造の5つのドメインにわたる67のタスクで構成されている。
  • エージェントは、異種多言語入力の処理、反復的な推論の実行、外部ツールの呼び出し、構造化された出力の生成が求められる。
  • 評価には、構造的採点、実行可能検証、LLMベースのセマンティック評価を組み合わせたハイブリッドフレームワークが利用される。
  • 実証結果は、最先端のLLMエージェントが多言語設定において単一言語設定と比較して著しいパフォーマンス低下を示すことを示している。

分析により、多言語性は推論と実行ステップにわたって複合的な効果をもたらすことが示唆され、言語変異と手続的意思決定を同時にモデル化することの必要性が浮き彫りになった。