github llama.cpp · 9 jam lalu · inference

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

Dukungan MTP awal ditambahkan, meskipun dihapus dari permintaan tarik awal untuk memungkinkan tinjauan yang fokus.
Tata letak k-pool sekarang dipertahankan di antara ubatch untuk mencegah staleness setelah pengeditan urutan dan teardown bersama.
Titik pemeriksaan rollback berulang ditulis dengan benar untuk state conv dan state delta net.
Sebuah bug dalam stride stream build_attn_mha diperbaiki untuk kueri non-kontigu, memastikan prefill multi-stream yang benar untuk GLM5-Next.
Filter perlindungan kuantisasi dibersihkan untuk menghapus entri duplikat.

Perubahan ini memastikan inferensi yang stabil dan manajemen state yang benar untuk model GLM5-Next di berbagai backend perangkat keras termasuk CUDA, ROCm, dan CPU.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Zhipu AI Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b11207 menambahkan dukungan GET_ROWS bertiling Q4_0 dan Q8_0 untuk Hexagon

Proyek llama.cpp merilis build b11207, yang memperkenalkan dukungan untuk operasi GET_ROWS bertiling Q4_0 dan Q8_0 pada backend Hexagon. Pembaruan ini juga mencakup perbaikan pada makro, tumpahan register, dan pipeline DMA, bersama dengan peningkatan logika pemilihan kernel dan vektorisasi yang diaktifkan kembali.

github llama.cpp · 7 hari lalu · 17 tayangan

llama.cpp v0.5.0 menambahkan dukungan HRM-Text, akselerasi CUDA conv2d, dan pengikatan multi-alamat

Proyek llama.cpp telah merilis versi 0.5.0, dengan fokus pada kinerja backend, cakupan model yang lebih luas, dan operasi server yang lebih andal. Pembaruan ini memperkenalkan dukungan untuk arsitektur baru seperti HRM-Text (DFM Mimir 1B) dan MiMo-V2.6, sambil secara signifikan meningkatkan efisiensi komputasi melalui optimisasi CUDA dan Metal.

github llama.cpp · 7 hari lalu · 22 tayangan

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 8 hari lalu · 22 tayangan

llama.cpp menambahkan dukungan DFlash untuk HunyuanOCR dan memperbaiki konversi draf

Proyek llama.cpp telah menambahkan dukungan untuk dekode spekulatif DFlash dengan model HunyuanOCR dengan mengekspos tensor input lapisan dalam grafik target. Perubahan ini memungkinkan model draf membaca aliran residual, sehingga permintaan gambar dapat berjalan sukses dengan tingkat penerimaan draf sekitar 0,5 dan output OCR yang identik secara byte dibandingkan dengan eksekusi non-spekulatif.

lab Hugging Face Blog · 8 hari lalu · 24 tayangan

Transformers menambahkan dukungan GGUF melalui kernel ggml untuk inferensi lokal

Pustaka Transformers dari Hugging Face kini mendukung pemuatan model terkuantisasi GGUF, memanfaatkan kernel ggml di bawahnya untuk membawa performa mendekati llama.cpp. Integrasi ini memungkinkan pengembang menjalankan checkpoint terkuantisasi langsung dalam API berbasis PyTorch standar pada perangkat keras yang didukung.