Tim peneliti dari FAIR di Meta, University of Oxford, dan University College London telah memperkenalkan AI Research Preference Models (RPMs) untuk membantu agen AI peringkat kandidat eksperimen machine learning yang belum dieksekusi. Pendekatan ini mengatasi hambatan di mana generasi ide murah tetapi verifikasi melalui pelatihan GPU mahal.

  • RPM menggunakan LLM pra-latihan beku tanpa fine-tuning, memanfaatkan kerangka kerja open-source AIRA-dojo dan Qwen3.6-27B sebagai tulang punggung.
  • Sistem menghasilkan 15 kandidat paralel dan memilih satu pemenang melalui turnamen knockout berpasangan yang didasarkan pada skor validasi.
  • Dua varian diuji: hakim hanya inferensi dan hakim agentic yang menjalankan eksperimen pilot singkat di lingkungan sandboxed.
  • Pada AIRS-Bench, RPM meningkatkan rata-rata skor ternormalisasi dari 0.684 menjadi 0.711 (hanya inferensi) dan 0.729 (agentic).
  • Kedua varian mencapai skor akhir baseline dalam sekitar 15 jam, memberikan percepatan 1.5–1.6× dibandingkan pemilihan acak.

Para penulis menganggap ini penting karena memungkinkan agen memfokuskan sumber daya komputasi pada eksperimen yang paling menjanjikan, secara signifikan mempercepat kemajuan penelitian tanpa memerlukan model dasar yang lebih kuat.