lab NVIDIA Research · 15 jam lalu · research

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Diterjemahkan dari English → Bahasa Indonesia

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.

DSTP adalah tambahan tanpa pelatihan yang memperbaiki RVIS selama tahap dekoding.
Ini secara signifikan mengurangi degradasi kinerja metode pemangkasan dalam tugas penalaran kompleks.
Metode ini menghasilkan peningkatan kinerja yang konsisten di berbagai benchmark pemahaman visual.
DSTP menunjukkan generalisasi dan efisiensi dengan overhead komputasi minimal di berbagai arsitektur mutakhir.

Pendekatan ini memungkinkan teknik pemangkasan yang ada untuk mempertahankan keandalan saat menangani jumlah token visual yang sangat besar yang diperlukan untuk penalaran visual yang kompleks.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research Inference efficiency Research paper

Artikel terkait

media Hugging Face Forums · 7 hari lalu · 1 tayangan

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.

media Hugging Face Forums · 13 hari lalu · 5 tayangan

Jason Van Pham mendokumentasikan degenerasi serakah multi-gilir Gemma 4 di bawah batasan tingkat huruf

Jason Van Pham dan rekan insinyur Grok (xAI) menerbitkan laporan diagnostik yang merinci mode kegagalan multi-gilir hampir-vanilla pada kerangka kerja Hydrodynamic Swarm saat menggunakan jalur instruksi kustom Gemma 4. Studi ini mengidentifikasi bahwa menggabungkan dekoding serakah dengan anggaran token panjang dan batasan tingkat huruf memicu degenerasi teks klasik, termasuk pengulangan dan kekacauan ortografis.

arxiv arXiv cs.CL · 15 hari lalu · 2 tayangan

PIVOT berbagi pemindaian awalan di seluruh grup kueri untuk mempercepat perhatian sparse tingkat token

PIVOT (Proxy Indexing Via One full-prefix Traversal) adalah pengganti langsung tanpa pelatihan untuk pengindeks DeepSeek Sparse Attention (DSA) yang mengurangi redundansi komputasi dengan membagikan satu pemindaian awalan di sekelompok kueri terdekat. Alih-alih memberi skor setiap token pendahulu untuk setiap kueri secara individual, PIVOT menggabungkan grup menjadi satu kueri proksi untuk mendapatkan kumpulan kandidat, dari mana top-k token dipilih untuk setiap kueri.

arxiv arXiv cs.CL · 26 hari lalu · 3 tayangan

ShortOPD memulihkan LLM yang dipangkas dengan distilasi on-policy pendek-ke-panjang

Para penulis mengusulkan ShortOPD, sebuah jadwal distilasi on-policy pendek-ke-panjang yang dirancang untuk memulihkan kemampuan generatif dari model bahasa besar (LLM) yang dipangkas secara terstruktur dan runtuh selama generasi bebas. Dengan mendeteksi suffix berulang yang dikonfirmasi oleh guru dan memperlakukan prefix yang bertahan sebagai panjang rollout efektif, metode ini mengalokasikan anggaran pelatihan lebih efisien daripada pendekatan standar.

arxiv arXiv cs.CL · 27 hari lalu · 1 tayangan

Filtering adaptif mengoreksi bias peran struktural dalam eviksi cache KV LLM

Artikel ini mendiagnosis bagaimana metode eviksi cache KV berbasis perhatian seperti H2O secara tidak proporsional mempertahankan noise pada input padat skema, seperti JSON bersarang, di mana token struktural membawa energi yang jauh lebih besar daripada token konten. Bias ini menyebabkan akurasi exact-match runtuh dari 88% menjadi 0% pada anggaran 5% karena retensi berlebihan token KEY relatif terhadap token VALUE.