github llama.cpp · 1 hari lalu · inference

llama.cpp b10868 menambahkan penanganan tipe IQ untuk MoE

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10868, yang memperkenalkan penanganan tipe IQ untuk model Mixture of Experts (MoE).

Menambahkan dukungan untuk tipe kuantisasi IQ dalam arsitektur MoE melalui pull request #28476.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), Android, dan openEuler.
Termasuk dukungan iOS XCFramework dan paket UI mandiri.

Pembaruan ini memungkinkan pengguna menjalankan model MoE dengan tipe kuantisasi IQ tertentu di berbagai platform perangkat keras.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

DeepSeek AI telah merilis DeepSeek-V4.1-Flash, sebuah model Mixture-of-Experts multimodal yang dilengkapi jendela konteks 1 juta token dan cache KV FP4 yang mengurangi jejak cache global menjadi 890 byte per token. Model ini memanfaatkan arsitektur encoder-decoder kausal dan Compressed Sparse Attention 2 (CSA2) untuk secara signifikan menurunkan kebutuhan memori sambil mempertahankan kinerja.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

Rilis llama.cpp b10889 menghindari alokasi cache V untuk indexer

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x

llama.cpp b10883 memperbaiki perkalian matriks Vulkan dan memulihkan optimasi Ampere