arxiv arXiv cs.AI · 15 jam lalu · sumber: 3 hari lalu · research

PLVR menggunakan backpropagasi simbolik untuk mempelajari program penalaran yang dapat diverifikasi

Diterjemahkan dari English → Bahasa Indonesia

Peneliti memperkenalkan PLVR (Program Learning with Verifiable Rewards), sebuah metode pasca-pelatihan yang mempelajari program penalaran eksplisit yang terdiri dari primitif deterministik dan neural, alih-alih memperbarui bobot model. Pendekatan ini memanfaatkan backpropagasi simbolik, di mana penugasan kredit dilakukan melalui inferensi tipe pada tanda tangan primitif bukan estimasi.

Pada LiveCodeBench v6 dan Tau2Bench, model dasar 30B dengan PLVR mengungguli pembelajaran penguatan sebesar 27.8 poin rata-rata dengan anggaran yang setara.
Metode ini juga melampaui model frontier yang ukurannya satu orde magnitudo lebih besar sebesar 13.6 poin.
Sebuah pustaka primitif tunggal melayani kedua benchmark, hanya memerlukan 100 contoh untuk tugas baru tanpa data fine-tuning tambahan.
Eksperimen mengidentifikasi forward pass sebagai sumber keunggulan dibandingkan pengambilan sampel seragam.

Para penulis merilis pustaka backpropagasi simbolik dan pemeriksa kepatuhan untuk memungkinkan penerapan pada pustaka primitif lainnya.

Kepentingan 2/3 arXiv cs.AI Research paper Training methods

Benchmark

Benchmark	Model	Skor
LiveCodeBench	30B base models with PLVR	27.8%
τ²-bench	30B base models with PLVR	27.8%

Artikel terkait

arxiv arXiv cs.CL · 4 hari lalu · 6 tayangan

Metrik STAR dan kerangka StarPO meningkatkan penyesuaian terjemahan mesin dokumen-ke-dokumen

Peneliti memperkenalkan Sentence Translation Alignment Rate (STAR), sebuah metrik tambahan yang dirancang untuk mengukur kesetiaan struktural tingkat kalimat dalam terjemahan mesin dokumen-ke-dokumen, mengatasi masalah seperti penghilangan dan halusinasi. Mereka mengusulkan STAR-masked Preference Optimization (StarPO), sebuah kerangka kerja yang memberi peringkat hipotesis berdasarkan kualitas struktural dan menggunakan masker penyesuaian dinamis untuk memfokuskan optimasi pada segmen yang tidak sesuai.

arxiv arXiv cs.AI · 12 hari lalu · 12 tayangan

Harness Continual Learning menyesuaikan keadaan agen di luar parameter model yang dibekukan

Para penulis memperkenalkan Harness Continual Learning (HCL), sebuah paradigma di mana agen meningkat dengan mengembangkan harness-nya yang berorientasi eksekusi daripada memperbarui parameter model. Pendekatan ini mengatasi tantangan mempertahankan perilaku yang sebelumnya diperoleh sambil beradaptasi dengan pengalaman baru melalui komponen seperti prompt, memori, dan aturan perutean.

media r/LocalLLaMA · 12 hari lalu · 13 tayangan

Z.ai menskalakan pasca-pelatihan GLM-5.3 untuk meningkatkan penalaran jangka panjang

Z.ai merilis GLM-5.3, sebuah eksperimen terkontrol yang menunjukkan bahwa penskalaan pasca-pelatihan menghasilkan peningkatan signifikan dalam penalaran jangka panjang tanpa mengubah model dasar atau jumlah parameter.

media Hugging Face Forums · 18 hari lalu · 12 tayangan

ThetaMem mengusulkan pengangkatan kunci perkalian bertanda untuk memori urutan keadaan tetap

ThetaMem adalah studi awal satu-seed dari mixer rekuren yang memodifikasi keadaan rekuren melalui pengangkatan kunci Hadamard atau produk-luar bertanda yang dipelajari, bukan dengan menyempurnakan mekanisme gerbang. Penulis menyajikan hasil campuran pada benchmark sintetis dan secara eksplisit mencari kritik untuk mengidentifikasi eksperimen termurah yang dapat menyangkal pendekatan tersebut.

lab NVIDIA Research · 19 hari lalu · 41 tayangan

LLM menyamai atau mengalahkan optimisasi Bayesian untuk optimisasi hiperparameter

Sebuah makalah baru mengeksplorasi penggunaan model bahasa besar fundamental (LLM) untuk mengotomatisasi optimisasi hiperparameter (HPO), sebuah proses yang biasanya mengandalkan pendekatan manual dalam pengaturan anggaran terbatas. Para penulis mengembangkan metodologi di mana LLM menyarankan konfigurasi hiperparameter berdasarkan deskripsi dataset dan model, yang kemudian disempurnakan secara iteratif sesuai dengan kinerja model.