github llama.cpp · 1 jam lalu · inference

llama.cpp b10254 menambahkan template DeepSeek V4 Flash 0731 dan memperbarui template V4

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10254, memperkenalkan template obrolan baru untuk model DeepSeek V4 Flash 0731 bersama dengan pembaruan pada template DeepSeek V4 yang ada.

Menyelaraskan template DeepSeek V4 dengan pengkode resmi sambil mengecualikan perubahan perilaku parser.
Secara default, membuang riwayat pemikiran untuk DeepSeek V4 kecuali preserve_reasoning diminta atau alat hadir.
Menambahkan instruksi format respons output terstruktur dan meneruskan skema ke perenderan template.
Memperkenalkan template Flash 0731 terpisah untuk menangani pemetaan upaya penalaran tinggi dan maksimal yang diperbarui.
Termasuk perbaikan untuk konsumsi pemisah panggilan alat parser DSML dan pemilihan template deepseek v4 0731.

Pembaruan ini memastikan kompatibilitas dengan spesifikasi model DeepSeek terbaru dan meningkatkan penanganan output terstruktur.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10251 menambahkan dukungan MTP untuk GLM-4.7-Flash

Proyek llama.cpp telah merilis build b10251, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.7-Flash.

github llama.cpp · 22 jam lalu

llama.cpp b10238 menambahkan dukungan MTP untuk Qwen3-Next

Proyek llama.cpp merilis build b10238, yang memperkenalkan dukungan Multi-Token Prediction (MTP) untuk keluarga model Qwen3-Next. Pembaruan ini mencakup perubahan implementasi spesifik untuk menangani lapisan MTP dan perbaikan terkait pemeriksaan tipe Python dalam basis kode.

github llama.cpp · 23 jam lalu · 5 tayangan

llama.cpp b10237 menambahkan dukungan MTP untuk DeepSeek V3.2

Proyek llama.cpp merilis build b10237, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model DeepSeek V3.2.

github llama.cpp · 2 hari lalu · 7 tayangan

llama.cpp b10232 mengimplementasikan hiper-koneksi DeepSeek V4 di Metal

Proyek llama.cpp merilis build b10232, yang memperkenalkan dukungan untuk hiper-koneksi DeepSeek V4 melalui backend Metal. Pembaruan ini menambahkan implementasi operasi GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE, dan GGML_OP_DSV4_HC_POST.

github llama.cpp · 3 hari lalu · 9 tayangan

llama.cpp b10219 mempertahankan reasoning_content dalam riwayat obrolan

Proyek llama.cpp merilis versi b10219, yang mencakup perbaikan untuk CLI agar dapat mempertahankan konten penalaran dalam riwayat obrolan. Sebelumnya, meskipun `llama-cli` mengumpulkan penalaran dari stream untuk ditampilkan, ia hanya menyimpan konten asisten dalam pesan, mencegah flag `--reasoning-preserve` menyuntikkan kembali pemikiran sebelumnya pada giliran berikutnya.