arxiv arXiv cs.CL · 2 hari lalu · research

ROFT meningkatkan model agentic dengan fine-tuning pada penjelasan yang dihasilkan sendiri

Diterjemahkan dari English → Bahasa Indonesia

Peneliti menyelidiki Retrospection-Only Fine-Tuning (ROFT), sebuah prosedur online minimal di mana agen menghasilkan penjelasan retrospektif dari pengalamannya sendiri dan dilakukan fine-tuning menggunakan hanya kerugian prediksi token berikutnya pada token penjelasan tersebut. Metode ini tidak memerlukan guru eksternal atau pembaruan kebijakan berbasis imbalan.

Dalam eksperusi rekayasa perangkat lunak dengan Qwen3.5-4B, ROFT mencapai tingkat penyelesaian 49,2% dan 26,8% pada SWE-bench Verified dan Pro setelah 20 pembaruan, mengungguli hasil GRPO setelah 40 pembaruan. Pendekatan ini juga belajar menyelesaikan tugas-tugas di mana semua upaya model dasar gagal dan mendorong tindakan baik dengan memberikan kredit secara tidak langsung.

Temuan ini menetapkan retrospeksi yang dihasilkan sendiri sebagai target pelatihan yang berguna, menunjukkan bahwa belajar menjelaskan dapat meningkatkan pembelajaran untuk melakukan.

Kepentingan 2/3 arXiv cs.CL AI agents Training methods

Benchmark

Benchmark	Model	Skor
SWE-bench Verified	Qwen3.5-4B (with ROFT)	49.2%
SWE-bench Pro	Qwen3.5-4B (with ROFT)	26.8%

Baca aslinya

VHD-Play menghasilkan lingkungan RL agentic dari mekanisme yang terpecahkan

VHD-Play adalah sebuah pipeline yang menghasilkan beragam lingkungan pembelajaran penguatan (reinforcement learning) agentic dengan cara melakukan sampling dan pemecahan model matematika sebelum merender proses pengambilan keputusan mereka sebagai alat berstatus (stateful). Pendekatan ini memastikan bahwa dinamika yang dapat dieksekusi dan referensi skor lintasan diwarisi langsung dari model yang telah terpecahkan, sehingga mengatasi masalah ketidakselarasan yang umum terjadi pada pipeline generasi yang ada.

arxiv arXiv cs.CL · 7 hari lalu · 10 tayangan

SkillGym menginternalisasi keterampilan manusia ke dalam LLM untuk pemecahan masalah dunia nyata

Para peneliti memperkenalkan SkillGym, sebuah kerangka kerja yang mengubah keterampilan agen yang ditulis oleh manusia menjadi lingkungan pelatihan yang dapat dieksekusi dan diverifikasi untuk agen model bahasa besar. Sistem ini memanfaatkan pipeline skill-to-task untuk menginisialisasi tugas konkret dan memverifikasi hasil dengan checker berbasis kode.

arxiv arXiv cs.AI · 8 hari lalu · 17 tayangan

Generator State Dunia menyelaraskan rencana dengan dunia sintetis untuk meningkatkan keberhasilan agen

Generator State Dunia (WSG) adalah model yang menjaga rencana agen bahasa tetap selaras dengan aturan lingkungan eksekusinya dengan menulis ulang keadaan setelah kegagalan. Model ini dilatih pada 226K lintasan yang diekstrak dari tujuh domain sintetis di mana sebuah program menerapkan aturan dan memverifikasi ketercapaian tujuan.

media Latent Space · 9 hari lalu · 22 tayangan

TypeSafe AI memperkenalkan Jev, model System One yang dilatih dengan Pembelajaran Penguatan untuk Keputusan Terkalibrasi

TypeSafe AI telah meluncurkan Jev, kelas baru model "System One" yang dirancang untuk lingkungan produksi. CEO perusahaan dan co-penulis paper InstructGPT, Diogo Almeida, berpendapat bahwa model frontier saat ini lebih memprioritaskan alignment dan penolakan daripada keandalan, menyebabkan masalah seperti halusinasi dan sycophancy.

arxiv arXiv cs.CL · 22 hari lalu · 32 tayangan

ExecCritic menggunakan RL berbasis peran untuk meningkatkan agen pemrograman melalui perbaikan yang dipandu tes

Para peneliti memperkenalkan ExecCritic, sebuah kerangka kerja yang menggabungkan skafolding uji-verifikasi-revisi dengan pembelajaran penguatan berbasis peran untuk meningkatkan agen pemrograman. Sistem ini memisahkan konstruksi tes dari perbaikan kode sumber, menggunakan Agen Uji untuk menghasilkan tes asli repositori dan Agen Perbaikan untuk merevisi kode berdasarkan umpan balik eksekusi.