研究者たちは、外部ツールを必要とするビジョン・言語モデルにおける「思考と行動のギャップ」に対処するため、Agent Explorative Policy Optimization (AXPO) を提案している。このギャップにより、GRPO などの標準的な RL 手法ではロールアウトの約30%でしかツール使用が試みられず、高い失敗率が学習信号を抑制してしまう。

  • AXPOは思考プレフィックスを固定し、すべて不正なサブグループに対してツール呼び出しを再サンプリングし、不確実性に基づくプレフィックス選択と組み合わせる。
  • 9つのマルチモーダルベンチマークおよびQwen3-VL-Thinkingの3つのスケールで評価。
  • SFT+AXPOは8Bモデルにおいて平均してSFT+GRPOよりもPass@1で+1.8pp、Pass@4で+1.8pp上回る。
  • SFT+AXPOを使用する8Bモデルは、パラメータ数を4分の1に抑えながら32BのBaseモデルをPass@4で上回る。

このアプローチは内部推論とツール使用間の構造的非対称性を効果的に解決し、より効率的かつ正確なエージェント推論を可能にする。