media Hugging Face Forums · 1 jam lalu · open_models

Kuantisasi Cache KV Magnitudo Fourier menggandakan panjang konteks dengan memori yang sama

Diterjemahkan dari English → Bahasa Indonesia

ntrillard menunjukkan bahwa mengkuantisasi spektrum magnitudo Fourier dari nilai cache K dan V ke 4-bit sambil mempertahankan fase pada presisi penuh mencapai pencocokan token sebesar 96,9% dengan referensi fp16 pada Gemma-3-1B, peningkatan 5-10 kali lipat dibandingkan kuantisasi min-max standar.

Fmag4 (magnitudo 4-bit + fase presisi penuh) menghasilkan pencocokan token 96,9% dan penghematan memori sebesar 62% dibandingkan bf16.
Kuantisasi 4-bit standar hanya mencapai pencocokan token sebesar 54,9% pada prompt yang sama.
Metode ini menggandakan panjang konteks maksimum dari 68K menjadi 137K untuk Qwen2.5-7B pada GPU 10GB tanpa meningkatkan total anggaran memori.
Fase diidentifikasi sebagai pembawa utama informasi struktural, sementara spektrum magnitudo halus dan dapat dikompresi.

Pendekatan ini memungkinkan pengguna memperluas jendela konteks secara signifikan dalam batasan perangkat keras tetap dengan memanfaatkan transformasi Fourier untuk penyimpanan cache KV yang lebih efisien.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Local inference

Baca aslinya

llama.cpp menambahkan dukungan model Kimi-K3 dengan repacking MXFP4 dan template obrolan

Proyek llama.cpp telah menambahkan dukungan untuk model teks Kimi-K3, mengimplementasikan arsitektur perhatian hibrida KDA (linear) + MLA (penuh) bersama dengan lima fitur arsitektur spesifik yang tidak ada pada Kimi-Linear-48B yang lebih lama.

github llama.cpp · 3 hari lalu · 17 tayangan

llama.cpp b10447 mendesain ulang model utas yield_to_queue

Proyek llama.cpp telah merilis build b10447, yang mencakup desain ulang model utas `yield_to_queue`. Perubahan ini melibatkan menjalankan `common_speculative_process` di worker dan menukar desain utas worker ke utama.

github llama.cpp · 3 hari lalu · 17 tayangan

llama.cpp b10444 menambahkan dukungan model asisten MTP dan menghapus eagle3

Proyek llama.cpp telah merilis versi b10444, memperkenalkan dukungan untuk memuat model asisten Prediksi Multi-Token (MTP) melalui flag `--models-dir`. Pembaruan ini juga mencakup pemeriksaan awalan ketat untuk model MTP dalam preset dan menghapus dukungan untuk tipe draf eagle3.

github llama.cpp · 3 hari lalu · 13 tayangan

llama.cpp b10442 menambahkan Vulkan SHMEM_STRIDE_PAD untuk Intel Xe dan memperbaiki bacaan OOB

Proyek llama.cpp merilis versi b10442, memperkenalkan optimasi Vulkan spesifik untuk perangkat keras Intel Xe sambil mengatasi masalah keamanan memori dalam rutinitas perkalian matriks.

github llama.cpp · 4 hari lalu · 17 tayangan

llama.cpp b10434 meneruskan reasoning_effort ke template

Proyek llama.cpp merilis build b10434, yang menambahkan dukungan untuk meneruskan parameter `reasoning_effort` ke template Jinja. Perubahan ini memastikan bahwa nilai `reasoning_effort` dari OpenAI Chat Completions disimpan dan tersedia selama generasi.