arxiv arXiv cs.LG · 1 jam lalu · research

U-OPSD memungkinkan distilasi diri on-policy tanpa pengawasan untuk LLM

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti mengusulkan Distilasi Diri On-Policy Tanpa Pengawasan (U-OPSD), sebuah metode yang mencapai peningkatan pasca-pelatihan untuk model bahasa besar hanya menggunakan generasi model itu sendiri tanpa supervisi eksternal. Pendekatan ini mengambil beberapa rollouts untuk membangun solusi pseudo melalui pemungutan suara mayoritas, lalu mendistilasi distribusi guru ke dalam awalan dari penyelesaian salah terpanjang model.

U-OPSD meningkatkan model dasar sebesar 8,5% dan 10,7% pada mode non-pemikiran Qwen3 di skala 4B dan 8B melintasi benchmark seperti AIME24, MATH500, dan AMC23.
Metode ini mengungguli metode terawasi seperti OPSD dengan rata-rata 3,2% dan 2,3% dalam mode non-pemikiran.
Dalam mode pemikiran, U-OPSD menyamai atau melampaui OPSD dan GRPO, mengungguli yang terakhir hingga 1,1% pada skala 8B.

Metode ini menunjukkan bahwa distilasi diri sejati dimungkinkan melalui konsistensi internal, menawarkan alternatif kompetitif terhadap sinyal pelatihan terawasi.

Kepentingan 2/3 arXiv cs.LG Research paper Training methods

Baca aslinya

Decoder Memori dalam Skala: Menskalakan memori jangka panjang parametrik hingga 6.9B parameter

Para peneliti menyajikan Memory Decoder at Scale, sebuah sistem yang menskalakan model memori jangka panjang parametrik hingga 6.9B parameter dan melatihnya terlebih dahulu pada 300B token. Untuk mengatasi ketidakmungkinan pipeline Faiss standar pada skala data ini, para penulis mengimplementasikan pipeline pengindeksan terdistribusi dengan pemuatan kNN yang jarang dan berbasis batch.

arxiv arXiv cs.CL · 9 hari lalu

Relay-OPD mengurangi panjang lintasan pelatihan lebih dari 50% dalam distilasi on-policy

Para peneliti memperkenalkan Relay On-Policy Distillation (Relay-OPD) untuk mengatasi kegagalan prefix dalam distilasi on-policy standar, di mana kesalahan siswa menyebabkan pengawasan yang tidak dapat diandalkan. Metode ini menggunakan asimetri kelanjutan guru-siswa sebagai pemicu bagi guru untuk sebentar mengambil alih dan mengarahkan ulang lintasan sebelum siswa melanjutkan.

media Hugging Face Forums · 13 hari lalu

ThetaScan v0.1 merilis pemindai-paralel memori nonlinier terbuka dengan hasil LM 17M

Pratinjau penelitian ThetaScan v0.1, sebuah pencampur token nonlinier keadaan tetap, telah dirilis sebagai implementasi sumber terbuka. Arsitektur memastikan bahwa setiap token menghitung penulisan memorinya dari input saat ini dan parameter bersama daripada keadaan cepat yang berkembang, memungkinkan penulisan tersusun melalui pemindaian awalan asosiatif.

media r/LocalLLaMA · 15 hari lalu · 1 tayangan

SLAI T-Rex mencapai 34,22% MFU dan 71,81% Pass@1 untuk DeepSeek-V4 di Ascend

SLAI memperkenalkan T-Rex, sebuah kerangka kerja pasca-pelatihan parameter penuh untuk keluarga model DeepSeek-V4 pada infrastruktur Ascend SuperPOD. Sistem ini mengatasi tekanan memori dan overhead komunikasi dalam model MoE triliunan parameter melalui optimasi hierarkis.

arxiv arXiv cs.LG · 22 hari lalu · 1 tayangan

Eksponen Lyapunov sebagai Imbalan Padat yang Diinformasikan Fisika: Penemuan Stabilisasi Lewat RL Melampaui Pendulum Kapitza

Para penulis mengusulkan penggunaan eksponen karakteristik Lyapunov (LCE) sebagai sinyal imbalan padat untuk menstabilkan pendulum terbalik dengan gerakan vertikal. Pendekatan ini memungkinkan agen pembelajaran penguatan menemukan perilaku stabilisasi kompleks di luar solusi osilasi standar.