研究者は、進行中のセッション中に利用可能なツールの信頼性が静かに変化した際に、LLMエージェントがどのように適応するかを評価するためのベンチマークを導入しました。このフレームワークは冗長性を備えたツールスキルライブラリをマウントし、隠れた境界で信頼できるツールグループをシフトするために分岐スケジュールを使用します。

  • エージェントは各境界の数ターン以内に小さな反復ルーチンに落ち着き、離散値への呼び出しシェアを集中させます。
  • セットシフト精度は、各シフト後のウィンドウでターゲットツールグループへルーティングする結合確率としてスコアリングされます。
  • オープンソースのagenticハーネスでオープンウェイトLLMをテストすると、同じルーチンにわたって質的に異なる失敗モードが明らかになります。
  • 本研究は、セットフレーミング（ツールを競合または補完的として提示すること）がルーティングダイナミクスを変化させることを発見しました。

この評価は、隠れた信頼性の変化に対処する際に、ツールの提示方法がエージェントの行動に与える影響と特定の失敗モードを浮き彫りにします。