github llama.cpp · 3 hari lalu · inference

llama.cpp b10833 menambahkan fusi norma RMS Vulkan untuk percepatan ~4% pada gemma4

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10833, memperkenalkan optimasi backend Vulkan yang menyatukan operasi normalisasi tertentu untuk meningkatkan kinerja inferensi.

Dukungan untuk fusi RMS_NORM + MUL + ADD (+ MUL) dan RMS_NORM + VIEW + SET_ROWS di backend Vulkan.
Ekstensi ROPE + VIEW + SET_ROWS untuk mendukung IMROPE.
Penulis melaporkan peningkatan kinerja sekitar 4% pada model gemma4 di sistem mereka.

Pembaruan ini memberikan kecepatan inferensi yang lebih cepat kepada pengguna untuk model kompatibel yang berjalan pada perangkat keras yang kompatibel dengan Vulkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

DeepSeek AI telah merilis DeepSeek-V4.1-Flash, sebuah model Mixture-of-Experts multimodal yang dilengkapi jendela konteks 1 juta token dan cache KV FP4 yang mengurangi jejak cache global menjadi 890 byte per token. Model ini memanfaatkan arsitektur encoder-decoder kausal dan Compressed Sparse Attention 2 (CSA2) untuk secara signifikan menurunkan kebutuhan memori sambil mempertahankan kinerja.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

Rilis llama.cpp b10889 menghindari alokasi cache V untuk indexer

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x

llama.cpp b10883 memperbaiki perkalian matriks Vulkan dan memulihkan optimasi Ampere