media Hugging Face Forums · 1 jam lalu · open_models

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Diterjemahkan dari English → Bahasa Indonesia

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.

Skala Konteks: Urutan konteks 128K dieksekusi dalam 108.78ms dengan VRAM <185MB pada NVIDIA T4.
Akselerasi Kernel: Kernel Triton terpadu memberikan percepatan 3.60x dibandingkan implementasi PyTorch standar.
Penjaga Presisi: Menggunakan Akumulator Master FP32 + Normalisasi RMS untuk mencegah overflow gradien FP16/BF16 selama pelatihan konteks panjang.
Akurasi Retrieval: Lolos benchmark Needle-In-A-Haystack (NIAH) 16K dengan SNR 1.89x.

Penulis sedang mencari masukan tentang mengintegrasikan model ke dalam Hugging Face Transformers atau melakukan perbandingan benchmark dengan model linear yang ada.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Research paper

Baca aslinya

Jason Van Pham mendokumentasikan degenerasi serakah multi-gilir Gemma 4 di bawah batasan tingkat huruf

Jason Van Pham dan rekan insinyur Grok (xAI) menerbitkan laporan diagnostik yang merinci mode kegagalan multi-gilir hampir-vanilla pada kerangka kerja Hydrodynamic Swarm saat menggunakan jalur instruksi kustom Gemma 4. Studi ini mengidentifikasi bahwa menggabungkan dekoding serakah dengan anggaran token panjang dan batasan tingkat huruf memicu degenerasi teks klasik, termasuk pengulangan dan kekacauan ortografis.

arxiv arXiv cs.CL · 8 hari lalu · 2 tayangan

PIVOT berbagi pemindaian awalan di seluruh grup kueri untuk mempercepat perhatian sparse tingkat token

PIVOT (Proxy Indexing Via One full-prefix Traversal) adalah pengganti langsung tanpa pelatihan untuk pengindeks DeepSeek Sparse Attention (DSA) yang mengurangi redundansi komputasi dengan membagikan satu pemindaian awalan di sekelompok kueri terdekat. Alih-alih memberi skor setiap token pendahulu untuk setiap kueri secara individual, PIVOT menggabungkan grup menjadi satu kueri proksi untuk mendapatkan kumpulan kandidat, dari mana top-k token dipilih untuk setiap kueri.

arxiv arXiv cs.CL · 19 hari lalu

ShortOPD memulihkan LLM yang dipangkas dengan distilasi on-policy pendek-ke-panjang

Para penulis mengusulkan ShortOPD, sebuah jadwal distilasi on-policy pendek-ke-panjang yang dirancang untuk memulihkan kemampuan generatif dari model bahasa besar (LLM) yang dipangkas secara terstruktur dan runtuh selama generasi bebas. Dengan mendeteksi suffix berulang yang dikonfirmasi oleh guru dan memperlakukan prefix yang bertahan sebagai panjang rollout efektif, metode ini mengalokasikan anggaran pelatihan lebih efisien daripada pendekatan standar.

arxiv arXiv cs.CL · 19 hari lalu

Filtering adaptif mengoreksi bias peran struktural dalam eviksi cache KV LLM

Artikel ini mendiagnosis bagaimana metode eviksi cache KV berbasis perhatian seperti H2O secara tidak proporsional mempertahankan noise pada input padat skema, seperti JSON bersarang, di mana token struktural membawa energi yang jauh lebih besar daripada token konten. Bias ini menyebabkan akurasi exact-match runtuh dari 88% menjadi 0% pada anggaran 5% karena retensi berlebihan token KEY relatif terhadap token VALUE.

media r/LocalLLaMA · 20 hari lalu

Peneliti independen merilis Wave Field LLM, mengganti perhatian hasil titik dengan konvolusi gelombang FFT

Seorang peneliti independen telah memperkenalkan Wave Field LLM, arsitektur model dasar penyelesaian baru yang mengganti perhatian hasil titik O(N²) standar dengan konvolusi gelombang FFT. Pendekatan ini memungkinkan kecepatan dan penggunaan memori yang konstan selama inferensi terlepas dari panjang konteks, memungkinkan jendela konteks 128K di mana perhatian standar biasanya kehabisan memori.