github llama.cpp · 1 jam lalu · inference

llama.cpp b10174 menambahkan dukungan decoding spekulatif NextN/MTP untuk GLM-5.2

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10174, memperkenalkan dukungan decoding spekulatif NextN/MTP untuk arsitektur model GLM_DSA (GLM-5.2).

Menambahkan GLM-5.2 NextN/MTP sebagai target --spec-type draft-mtp, mengaktifkan perhatian MLA padat dan pengaturan KV konteks MTP.
Memperbarui skrip konversi untuk mendukung ekspor --mtp/--no-mtp untuk GlmMoeDsaForCausalLM, memungkinkan pengguna untuk membuang atau menyimpan blok NextN selama ekspor.
Menyediakan binari pra-bangun untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), dan platform openEuler.

Pembaruan ini memungkinkan kecepatan inferensi yang lebih cepat untuk model GLM-5.2 dengan memanfaatkan teknik decoding spekulatif dalam kerangka kerja llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Zhipu AI Inference efficiency

Baca aslinya

PIVOT berbagi pemindaian awalan di seluruh grup kueri untuk mempercepat perhatian sparse tingkat token

PIVOT (Proxy Indexing Via One full-prefix Traversal) adalah pengganti langsung tanpa pelatihan untuk pengindeks DeepSeek Sparse Attention (DSA) yang mengurangi redundansi komputasi dengan membagikan satu pemindaian awalan di sekelompok kueri terdekat. Alih-alih memberi skor setiap token pendahulu untuk setiap kueri secara individual, PIVOT menggabungkan grup menjadi satu kueri proksi untuk mendapatkan kumpulan kandidat, dari mana top-k token dipilih untuk setiap kueri.

media r/LocalLLaMA · 20 hari lalu · 1 tayangan

PIVOT berbagi pemindaian awalan di seluruh grup kueri untuk mempercepat perhatian sparse tingkat token

GLM-5.2 4-bit pada 4× DGX Spark mencapai 70,8% di Terminal-Bench 2.1

GLM 5.2 FP8 dengan KV FP8 mencapai 79,8% pada Terminal-Bench 2.1

Performa GLM5.2

GLM5.2 pada 5x Pro 6000 dan satu 5090, perjalanan yang mahal