研究者らは、LLMベースのエージェントシステムにおける教師なし失敗帰属のための軽量モデルであるOATを提案した。このモデルは成功したトラジェクトリのみで訓練される。ニューラル制御微分方程式によるワンクラス学習として問題を定式化することで、OATは学習されたダイナミクスからの逸脱に基づき、推論時にエラーステップを特定する。

  • ステップレベルの教師情報なしで、100本の成功したトラジェクトリのみで訓練する。
  • 潜在空間での逸脱に基づいて、失敗したトラジェクトリのステップに異常スコアを割り当てる。
  • ドメイン内および分布外において、プロンプティングベースのベースラインと比較して、それぞれF1スコアが+20%および+7%向上した。
  • 既存のプロンプティングベースのアプローチよりも200〜5000倍高速に動作する。

OATは、高コストなエラー注釈の必要性を排除することで、エージェントシステムの失敗を診断するための有望で効率的な方向性を提供している。