arxiv arXiv cs.CL · 1 jam lalu · research

Pengurangan Perkalian Matriks: Reduksi Produk-Matriks Adaptif-Input untuk Inferensi LLM

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti mengusulkan Pengurangan Perkalian Matriks (RMM), metode inferensi adaptif-input tanpa pelatihan yang mengurangi produk matriks Transformer dengan memilih irisan informatif sepanjang dimensi kontraksi tanpa memodifikasi bobot model. Di bawah kontrol rasio retensi yang sederhana, RMM memberikan trade-off akurasi-efisiensi yang halus dan dapat diprediksi di seluruh model bahasa mulai dari 1B hingga 70B parameter.

Toleransi reduksi bergantung pada keluarga model, tugas, komponen, dan rasio retensi, sering kali meningkat seiring skala model.
RMM tetap robust di berbagai pengaturan diskriminatif, generasi autoregresif, dan konteks panjang di bawah reduksi moderat.
Prinsip ini meluas ke inferensi visi-bahasa multimodal.
Ablasi mekanistik mengungkapkan bahwa komputasi sisi perhatian jauh lebih dapat direduksi daripada komponen MLP.
Benchmark wall-clock pada NVIDIA A100 menunjukkan peningkatan runtime praktis, terutama pada panjang urutan yang lebih lama.

Hasil-hasil ini menempatkan RMM sebagai arah skalabel untuk optimisasi waktu inferensi adaptif-input.

Kepentingan 2/3 arXiv cs.CL Inference efficiency Research paper

Artikel terkait

lab NVIDIA Research · 3 hari lalu · 10 tayangan

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.

media Hugging Face Forums · 10 hari lalu · 1 tayangan

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.

media Hugging Face Forums · 16 hari lalu · 5 tayangan

Jason Van Pham mendokumentasikan degenerasi serakah multi-gilir Gemma 4 di bawah batasan tingkat huruf

Jason Van Pham dan rekan insinyur Grok (xAI) menerbitkan laporan diagnostik yang merinci mode kegagalan multi-gilir hampir-vanilla pada kerangka kerja Hydrodynamic Swarm saat menggunakan jalur instruksi kustom Gemma 4. Studi ini mengidentifikasi bahwa menggabungkan dekoding serakah dengan anggaran token panjang dan batasan tingkat huruf memicu degenerasi teks klasik, termasuk pengulangan dan kekacauan ortografis.

arxiv arXiv cs.CL · 17 hari lalu · 2 tayangan

PIVOT berbagi pemindaian awalan di seluruh grup kueri untuk mempercepat perhatian sparse tingkat token

PIVOT (Proxy Indexing Via One full-prefix Traversal) adalah pengganti langsung tanpa pelatihan untuk pengindeks DeepSeek Sparse Attention (DSA) yang mengurangi redundansi komputasi dengan membagikan satu pemindaian awalan di sekelompok kueri terdekat. Alih-alih memberi skor setiap token pendahulu untuk setiap kueri secara individual, PIVOT menggabungkan grup menjadi satu kueri proksi untuk mendapatkan kumpulan kandidat, dari mana top-k token dipilih untuk setiap kueri.

arxiv arXiv cs.CL · 29 hari lalu · 3 tayangan

ShortOPD memulihkan LLM yang dipangkas dengan distilasi on-policy pendek-ke-panjang

Para penulis mengusulkan ShortOPD, sebuah jadwal distilasi on-policy pendek-ke-panjang yang dirancang untuk memulihkan kemampuan generatif dari model bahasa besar (LLM) yang dipangkas secara terstruktur dan runtuh selama generasi bebas. Dengan mendeteksi suffix berulang yang dikonfirmasi oleh guru dan memperlakukan prefix yang bertahan sebagai panjang rollout efektif, metode ini mengalokasikan anggaran pelatihan lebih efisien daripada pendekatan standar.