lab NVIDIA Research · 15 jam lalu · research

Masters mendistilasi model visi-bahasa melalui guru masker dan penguatan siswa

Diterjemahkan dari English → Bahasa Indonesia

Peneliti mengusulkan Masters, sebuah kerangka pembelajaran penguatan progresif-masking untuk mendistilasi model visi-bahasa skala besar menjadi versi kompak yang cocok untuk penyebaran di tepi. Metode ini mengatasi ketidakstabilan yang disebabkan oleh kesenjangan ukuran antara model guru dan siswa.

Masters memasker bobot non-dominan dari guru untuk mengurangi kompleksitas, lalu secara progresif memulihkan kapasitas selama pelatihan untuk memungkinkan pembelajaran yang lebih lancar.
Ini mengintegrasikan tahap RL offline menggunakan respons pra-digenerasi dari guru termasker, menghindari biaya komputasi paradigma pikirkan-jawab online.
Kerangka kerja ini menggunakan dua hadiah pelengkap: hadiah akurasi untuk kebenaran respons dan hadiah distilasi yang mengukur kemudahan transfer.

Pendekatan ini memungkinkan siswa mencapai kinerja yang kuat dengan memanfaatkan panduan yang kaya namun efisien tanpa memerlukan proses generasi respons yang panjang.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research Research paper Training methods

Baca aslinya

ZPPO menggunakan prompt alih-alih gradien untuk meningkatkan pelatihan model visi-bahasa kecil

Para peneliti memperkenalkan Zone of Proximal Policy Optimization (ZPPO), sebuah metode yang menyuntikkan pengetahuan guru ke dalam prompt daripada gradien kebijakan untuk mengatasi kerapuhan dalam distilasi pengetahuan dan pergeseran dalam pembelajaran penguatan. ZPPO membangun Binary Candidate-included Questions (BCQ) dan Negative Candidate-included Questions (NCQ) untuk pertanyaan sulit, dan memutar ulang pertanyaan tersebut melalui buffer replays hingga akurasi siswa meningkat atau pertanyaan tersebut dihapus.

arxiv arXiv cs.LG · 5 hari lalu

U-OPSD memungkinkan distilasi diri on-policy tanpa pengawasan untuk LLM

Para peneliti mengusulkan Distilasi Diri On-Policy Tanpa Pengawasan (U-OPSD), sebuah metode yang mencapai peningkatan pasca-pelatihan untuk model bahasa besar hanya menggunakan generasi model itu sendiri tanpa supervisi eksternal. Pendekatan ini mengambil beberapa rollouts untuk membangun solusi pseudo melalui pemungutan suara mayoritas, lalu mendistilasi distribusi guru ke dalam awalan dari penyelesaian salah terpanjang model.

arxiv arXiv cs.CL · 12 hari lalu · 3 tayangan

Decoder Memori dalam Skala: Menskalakan memori jangka panjang parametrik hingga 6.9B parameter

Para peneliti menyajikan Memory Decoder at Scale, sebuah sistem yang menskalakan model memori jangka panjang parametrik hingga 6.9B parameter dan melatihnya terlebih dahulu pada 300B token. Untuk mengatasi ketidakmungkinan pipeline Faiss standar pada skala data ini, para penulis mengimplementasikan pipeline pengindeksan terdistribusi dengan pemuatan kNN yang jarang dan berbasis batch.

arxiv arXiv cs.CL · 14 hari lalu

Relay-OPD mengurangi panjang lintasan pelatihan lebih dari 50% dalam distilasi on-policy

Para peneliti memperkenalkan Relay On-Policy Distillation (Relay-OPD) untuk mengatasi kegagalan prefix dalam distilasi on-policy standar, di mana kesalahan siswa menyebabkan pengawasan yang tidak dapat diandalkan. Metode ini menggunakan asimetri kelanjutan guru-siswa sebagai pemicu bagi guru untuk sebentar mengambil alih dan mengarahkan ulang lintasan sebelum siswa melanjutkan.

media Hugging Face Forums · 18 hari lalu

ThetaScan v0.1 merilis pemindai-paralel memori nonlinier terbuka dengan hasil LM 17M

Pratinjau penelitian ThetaScan v0.1, sebuah pencampur token nonlinier keadaan tetap, telah dirilis sebagai implementasi sumber terbuka. Arsitektur memastikan bahwa setiap token menghitung penulisan memorinya dari input saat ini dan parameter bersama daripada keadaan cepat yang berkembang, memungkinkan penulisan tersusun melalui pemindaian awalan asosiatif.