github llama.cpp · 1 jam lalu · inference

llama.cpp b10251 menambahkan dukungan MTP untuk GLM-4.7-Flash

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10251, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.7-Flash.

Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x dengan CPU, Vulkan, ROCm 7.2, OpenVINO, dan backend SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler (ACL Graph).

Build KleidiAI macOS Apple Silicon telah dinonaktifkan dalam versi ini.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10238 menambahkan dukungan MTP untuk Qwen3-Next

Proyek llama.cpp merilis build b10238, yang memperkenalkan dukungan Multi-Token Prediction (MTP) untuk keluarga model Qwen3-Next. Pembaruan ini mencakup perubahan implementasi spesifik untuk menangani lapisan MTP dan perbaikan terkait pemeriksaan tipe Python dalam basis kode.

github llama.cpp · 20 jam lalu · 5 tayangan

llama.cpp b10237 menambahkan dukungan MTP untuk DeepSeek V3.2

Proyek llama.cpp merilis build b10237, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model DeepSeek V3.2.

github llama.cpp · 1 hari lalu · 7 tayangan

llama.cpp b10232 mengimplementasikan hiper-koneksi DeepSeek V4 di Metal

Proyek llama.cpp merilis build b10232, yang memperkenalkan dukungan untuk hiper-koneksi DeepSeek V4 melalui backend Metal. Pembaruan ini menambahkan implementasi operasi GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE, dan GGML_OP_DSV4_HC_POST.

github llama.cpp · 2 hari lalu · 9 tayangan

llama.cpp b10219 mempertahankan reasoning_content dalam riwayat obrolan

Proyek llama.cpp merilis versi b10219, yang mencakup perbaikan untuk CLI agar dapat mempertahankan konten penalaran dalam riwayat obrolan. Sebelumnya, meskipun `llama-cli` mengumpulkan penalaran dari stream untuk ditampilkan, ia hanya menyimpan konten asisten dalam pesan, mencegah flag `--reasoning-preserve` menyuntikkan kembali pemikiran sebelumnya pada giliran berikutnya.

github llama.cpp · 3 hari lalu · 8 tayangan

llama.cpp b10213 menambahkan dukungan untuk kuantisasi cache kv berputar

Proyek llama.cpp telah merilis versi b10213, memperkenalkan dukungan untuk kuantisasi cache kunci-nilai yang diputar. Pembaruan ini tersedia di berbagai platform dan akselerator perangkat keras.