Para peneliti mengusulkan Optimisasi Kebijakan Eksplorasi Agen (AXPO) untuk mengatasi "Kesenjangan Berpikir-Bertindak" pada model visi-bahasa yang memerlukan alat eksternal. Kesenjangan ini menyebabkan metode RL standar seperti GRPO mencoba penggunaan alat hanya pada ~30% rollouts, dengan tingkat kegagalan tinggi yang menekan sinyal pembelajaran.

  • AXPO memperbaiki prefix berpikir dan melakukan resampling panggilan alat untuk subkelompok yang sepenuhnya salah, dipasangkan dengan pemilihan prefix berbasis ketidakpastian.
  • Dievaluasi di sembilan benchmark multimodal dan tiga skala Qwen3-VL-Thinking.
  • SFT+AXPO mengungguli SFT+GRPO sebesar +1.8pp Pass@1 dan +1.8pp Pass@4 pada 8B secara rata-rata.
  • Model 8B yang menggunakan SFT+AXPO melampaui model Base 32B pada Pass@4 dengan empat kali lebih sedikit parameter.

Pendekatan ini secara efektif menyelesaikan asimetri struktural antara penalaran internal dan penggunaan alat, memungkinkan penalaran agentic yang lebih efisien dan akurat.