Googleおよび複数の日本の大学からの研究者が、従来のツール利用データセット生成パイプラインを逆転させたフレームワークであるToolGradを発表した。これはまず検証済みのAPIチェーンを構築し、その後でそれに対応するユーザークエリを作成するというアプローチを取る。この手法は、エージェントの探索中に頻繁に失敗するクエリファースト方式の非効率性を排除することを目指している。

  • システムは4つのモジュールをループで使用する：API Proposer、API Executors、API Selector、およびLLM Updater。
  • ToolBenchデータベースにおいて、ToolGradはDFSベースの手法の63.8%に対して99.8%のパス率を達成した。
  • 1サンプルあたりのツール利用ステップ数を34.3から20.0に削減しつつ、正解チェーンの長さを増加させた。
  • 生成されたToolGrad-500データセット上でGemma-3モデルをファインチューニングすることで、すべてのパラメータサイズでパフォーマンスが向上した。
  • 12BモデルはBerkeley Function Calling Leaderboardで83.1を達成し、Gemini 2.5 Flash-Liteを上回り、最先端の独自開発モデルと競合する結果となった。

このフレームワークは、ツール利用のためのLLMのより効率的かつ信頼性の高いトレーニングを可能にするために、オープンソースコード、データセット、およびモデルを提供している。