lab NVIDIA Research · 15 jam lalu · research

ZPPO menggunakan prompt alih-alih gradien untuk meningkatkan pelatihan model visi-bahasa kecil

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan Zone of Proximal Policy Optimization (ZPPO), sebuah metode yang menyuntikkan pengetahuan guru ke dalam prompt daripada gradien kebijakan untuk mengatasi kerapuhan dalam distilasi pengetahuan dan pergeseran dalam pembelajaran penguatan. ZPPO membangun Binary Candidate-included Questions (BCQ) dan Negative Candidate-included Questions (NCQ) untuk pertanyaan sulit, dan memutar ulang pertanyaan tersebut melalui buffer replays hingga akurasi siswa meningkat atau pertanyaan tersebut dihapus.

ZPPO memasangkan satu respons guru yang benar dengan satu respons siswa yang salah dalam BCQ untuk memaksa diskriminasi, sementara NCQ mengagregalkan kegagalan siswa untuk menyoroti mode kesalahan bersama.
Metode ini diuji pada keluarga Qwen3.5 pada skala dari 0,8B hingga 9B menggunakan model guru 27B.
Evaluasi mencakup rangkaian 31 benchmark termasuk 16 VLM, 10 LLM, dan 5 tugas Video.
ZPPO mengungguli distilasi off/on-policy dan GRPO, dengan peningkatan terbesar diamati pada skala model terkecil.

Dengan menjaga guru tetap berada di dalam prompt daripada gradien kebijakan, ZPPO menghindari pelanggaran asumsi on-policy sambil memperkuat pembelajaran di dalam zona perkembangan proksimal saat ini siswa.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research Research paper Training methods

Artikel terkait

lab NVIDIA Research · 15 jam lalu · 2 tayangan

Masters mendistilasi model visi-bahasa melalui guru masker dan penguatan siswa

Peneliti mengusulkan Masters, sebuah kerangka pembelajaran penguatan progresif-masking untuk mendistilasi model visi-bahasa skala besar menjadi versi kompak yang cocok untuk penyebaran di tepi. Metode ini mengatasi ketidakstabilan yang disebabkan oleh kesenjangan ukuran antara model guru dan siswa.

arxiv arXiv cs.LG · 5 hari lalu

U-OPSD memungkinkan distilasi diri on-policy tanpa pengawasan untuk LLM

Para peneliti mengusulkan Distilasi Diri On-Policy Tanpa Pengawasan (U-OPSD), sebuah metode yang mencapai peningkatan pasca-pelatihan untuk model bahasa besar hanya menggunakan generasi model itu sendiri tanpa supervisi eksternal. Pendekatan ini mengambil beberapa rollouts untuk membangun solusi pseudo melalui pemungutan suara mayoritas, lalu mendistilasi distribusi guru ke dalam awalan dari penyelesaian salah terpanjang model.

arxiv arXiv cs.CL · 12 hari lalu · 3 tayangan

Decoder Memori dalam Skala: Menskalakan memori jangka panjang parametrik hingga 6.9B parameter

Para peneliti menyajikan Memory Decoder at Scale, sebuah sistem yang menskalakan model memori jangka panjang parametrik hingga 6.9B parameter dan melatihnya terlebih dahulu pada 300B token. Untuk mengatasi ketidakmungkinan pipeline Faiss standar pada skala data ini, para penulis mengimplementasikan pipeline pengindeksan terdistribusi dengan pemuatan kNN yang jarang dan berbasis batch.

arxiv arXiv cs.CL · 14 hari lalu

Relay-OPD mengurangi panjang lintasan pelatihan lebih dari 50% dalam distilasi on-policy

Para peneliti memperkenalkan Relay On-Policy Distillation (Relay-OPD) untuk mengatasi kegagalan prefix dalam distilasi on-policy standar, di mana kesalahan siswa menyebabkan pengawasan yang tidak dapat diandalkan. Metode ini menggunakan asimetri kelanjutan guru-siswa sebagai pemicu bagi guru untuk sebentar mengambil alih dan mengarahkan ulang lintasan sebelum siswa melanjutkan.

media Hugging Face Forums · 18 hari lalu

ThetaScan v0.1 merilis pemindai-paralel memori nonlinier terbuka dengan hasil LM 17M

Pratinjau penelitian ThetaScan v0.1, sebuah pencampur token nonlinier keadaan tetap, telah dirilis sebagai implementasi sumber terbuka. Arsitektur memastikan bahwa setiap token menghitung penulisan memorinya dari input saat ini dan parameter bersama daripada keadaan cepat yang berkembang, memungkinkan penulisan tersusun melalui pemindaian awalan asosiatif.