media Hugging Face Forums · 2 jam lalu · open_models

Jason Van Pham mendokumentasikan degenerasi serakah multi-gilir Gemma 4 di bawah batasan tingkat huruf

Diterjemahkan dari English → Bahasa Indonesia

Jason Van Pham dan rekan insinyur Grok (xAI) menerbitkan laporan diagnostik yang merinci mode kegagalan multi-gilir hampir-vanilla pada kerangka kerja Hydrodynamic Swarm saat menggunakan jalur instruksi kustom Gemma 4. Studi ini mengidentifikasi bahwa menggabungkan dekoding serakah dengan anggaran token panjang dan batasan tingkat huruf memicu degenerasi teks klasik, termasuk pengulangan dan kekacauan ortografis.

Konfigurasi menggunakan dekoding serakah (suhu = 0) dengan batas max_tokens sebesar 300 dan steering fisika residual dinonaktifkan (force_cap = 0).
Keluaran bahasa Inggris yang lancar awal runtuh menjadi loop berulang dan puing skrip campuran setelah model berusaha memenuhi batasan tingkat huruf.
Giliran meta-diagnostik berikutnya menghasilkan laporan diri yang masuk akal sebelum memasuki kembali keadaan atraktor degeneratif yang sama.
Para penulis mengaitkan kegagalan tersebut dengan kombinasi riwayat multi-gilir, dekoding serakah, dan batasan keras, bukan kesalahan pemuatan bobot atau interferensi fisika residual.

Laporan ini berfungsi sebagai artefak diagnostik yang dapat diakses publik untuk menyoroti bagaimana output yang tidak sempurna dan tantangan rekayasa dalam pemuat kustom harus didokumentasikan bersama demo yang berhasil.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Research paper

Artikel terkait

arxiv arXiv cs.CL · 2 hari lalu

PIVOT berbagi pemindaian awalan di seluruh grup kueri untuk mempercepat perhatian sparse tingkat token

PIVOT (Proxy Indexing Via One full-prefix Traversal) adalah pengganti langsung tanpa pelatihan untuk pengindeks DeepSeek Sparse Attention (DSA) yang mengurangi redundansi komputasi dengan membagikan satu pemindaian awalan di sekelompok kueri terdekat. Alih-alih memberi skor setiap token pendahulu untuk setiap kueri secara individual, PIVOT menggabungkan grup menjadi satu kueri proksi untuk mendapatkan kumpulan kandidat, dari mana top-k token dipilih untuk setiap kueri.

arxiv arXiv cs.CL · 13 hari lalu

ShortOPD memulihkan LLM yang dipangkas dengan distilasi on-policy pendek-ke-panjang

Para penulis mengusulkan ShortOPD, sebuah jadwal distilasi on-policy pendek-ke-panjang yang dirancang untuk memulihkan kemampuan generatif dari model bahasa besar (LLM) yang dipangkas secara terstruktur dan runtuh selama generasi bebas. Dengan mendeteksi suffix berulang yang dikonfirmasi oleh guru dan memperlakukan prefix yang bertahan sebagai panjang rollout efektif, metode ini mengalokasikan anggaran pelatihan lebih efisien daripada pendekatan standar.

arxiv arXiv cs.CL · 13 hari lalu

Filtering adaptif mengoreksi bias peran struktural dalam eviksi cache KV LLM

Artikel ini mendiagnosis bagaimana metode eviksi cache KV berbasis perhatian seperti H2O secara tidak proporsional mempertahankan noise pada input padat skema, seperti JSON bersarang, di mana token struktural membawa energi yang jauh lebih besar daripada token konten. Bias ini menyebabkan akurasi exact-match runtuh dari 88% menjadi 0% pada anggaran 5% karena retensi berlebihan token KEY relatif terhadap token VALUE.

media r/LocalLLaMA · 14 hari lalu

Peneliti independen merilis Wave Field LLM, mengganti perhatian hasil titik dengan konvolusi gelombang FFT

Seorang peneliti independen telah memperkenalkan Wave Field LLM, arsitektur model dasar penyelesaian baru yang mengganti perhatian hasil titik O(N²) standar dengan konvolusi gelombang FFT. Pendekatan ini memungkinkan kecepatan dan penggunaan memori yang konstan selama inferensi terlepas dari panjang konteks, memungkinkan jendela konteks 128K di mana perhatian standar biasanya kehabisan memori.

arxiv arXiv cs.CL · 14 hari lalu · 2 tayangan

JoLT mencapai kompresi cache KV hampir tanpa kehilangan melalui dekomposisi Tucker gabungan dan alokasi residual JL

Para peneliti memperkenalkan JoLT, sebuah metode untuk mengompresi cache kunci-nilai (KV) dalam inferensi transformer dengan menganggapnya sebagai tensor orde ketiga. Pendekatan ini menerapkan dekomposisi Tucker parsial pada sumbu token dan fitur sambil menggunakan residual bit-rendah berputar Johnson-Lindenstrauss untuk memulihkan energi yang hilang selama pemotongan.