github llama.cpp · 1 jam lalu · inference

llama.cpp b10232 mengimplementasikan hiper-koneksi DeepSeek V4 di Metal

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10232, yang memperkenalkan dukungan untuk hiper-koneksi DeepSeek V4 melalui backend Metal. Pembaruan ini menambahkan implementasi operasi GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE, dan GGML_OP_DSV4_HC_POST.

Kernel baru memanfaatkan optimisasi register SIMDgroup dan shuffle.
Plumbing dispatch Metal ditambahkan untuk mendukung hitungan iterasi Sinkhorn produksi dan lebar embedding.
Binari pra-bangun tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, Vulkan, dan OpenVINO.

Rilis ini memungkinkan inferensi model DeepSeek V4 yang efisien pada perangkat Apple Silicon menggunakan framework Metal.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10219 mempertahankan reasoning_content dalam riwayat obrolan

Proyek llama.cpp merilis versi b10219, yang mencakup perbaikan untuk CLI agar dapat mempertahankan konten penalaran dalam riwayat obrolan. Sebelumnya, meskipun `llama-cli` mengumpulkan penalaran dari stream untuk ditampilkan, ia hanya menyimpan konten asisten dalam pesan, mencegah flag `--reasoning-preserve` menyuntikkan kembali pemikiran sebelumnya pada giliran berikutnya.

github llama.cpp · 2 hari lalu · 8 tayangan

llama.cpp b10213 menambahkan dukungan untuk kuantisasi cache kv berputar

Proyek llama.cpp telah merilis versi b10213, memperkenalkan dukungan untuk kuantisasi cache kunci-nilai yang diputar. Pembaruan ini tersedia di berbagai platform dan akselerator perangkat keras.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10212 memuat tensor MTP hanya saat digunakan

Proyek llama.cpp merilis versi b10212, yang mencakup perubahan untuk memuat tensor Multi-Token Prediction (MTP) hanya jika benar-benar digunakan. Pembaruan ini memastikan bahwa tensor MTP dilewati selama pemuatan pada model-model lain yang mendukung fitur tersebut tetapi tidak membutuhkannya.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10210 memperbaiki token yang diterima selama replikasi token draf

Proyek llama.cpp telah merilis versi b10210, yang mencakup koreksi pada logika server untuk menangani token yang diterima ketika replikasi token draf diperlukan.

github llama.cpp · 2 hari lalu · 6 tayangan

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

Rilis llama.cpp b10208 memperkenalkan dukungan SYCL untuk oneMKL GEMM flash attention, memungkinkan akselerasi perangkat keras XMX untuk pemrosesan prompt. Perubahan ini secara signifikan meningkatkan kecepatan inferensi pada GPU Intel Arc dengan memanfaatkan kernel MKL alih-alih jalur TILE default.