github llama.cpp · 1 jam lalu · inference

llama.cpp b10238 menambahkan dukungan MTP untuk Qwen3-Next

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10238, yang memperkenalkan dukungan Multi-Token Prediction (MTP) untuk keluarga model Qwen3-Next. Pembaruan ini mencakup perubahan implementasi spesifik untuk menangani lapisan MTP dan perbaikan terkait pemeriksaan tipe Python dalam basis kode.

Menambahkan dukungan MTP untuk model Qwen3-Next di src/models/qwen3next.cpp.
Memperbaiki perhitungan num_mtp langsung dari lapisan MTP dan mendefinisikan opt_num_mtp_layers di _QwenMtpMixin.
Menyelesaikan masalah pemeriksaan tipe Python dan memperbarui gguf-py/gguf/constants.py.
Menyediakan biner untuk macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), dan openEuler.

Rilis ini memungkinkan pengguna menjalankan model Qwen3-Next dengan kemampuan MTP di berbagai arsitektur perangkat keras dan sistem operasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10237 menambahkan dukungan MTP untuk DeepSeek V3.2

Proyek llama.cpp merilis build b10237, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model DeepSeek V3.2.

github llama.cpp · 14 jam lalu · 7 tayangan

llama.cpp b10232 mengimplementasikan hiper-koneksi DeepSeek V4 di Metal

Proyek llama.cpp merilis build b10232, yang memperkenalkan dukungan untuk hiper-koneksi DeepSeek V4 melalui backend Metal. Pembaruan ini menambahkan implementasi operasi GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE, dan GGML_OP_DSV4_HC_POST.

github llama.cpp · 2 hari lalu · 9 tayangan

llama.cpp b10219 mempertahankan reasoning_content dalam riwayat obrolan

Proyek llama.cpp merilis versi b10219, yang mencakup perbaikan untuk CLI agar dapat mempertahankan konten penalaran dalam riwayat obrolan. Sebelumnya, meskipun `llama-cli` mengumpulkan penalaran dari stream untuk ditampilkan, ia hanya menyimpan konten asisten dalam pesan, mencegah flag `--reasoning-preserve` menyuntikkan kembali pemikiran sebelumnya pada giliran berikutnya.

github llama.cpp · 3 hari lalu · 8 tayangan

llama.cpp b10213 menambahkan dukungan untuk kuantisasi cache kv berputar

Proyek llama.cpp telah merilis versi b10213, memperkenalkan dukungan untuk kuantisasi cache kunci-nilai yang diputar. Pembaruan ini tersedia di berbagai platform dan akselerator perangkat keras.

github llama.cpp · 3 hari lalu · 3 tayangan

llama.cpp b10212 memuat tensor MTP hanya saat digunakan

Proyek llama.cpp merilis versi b10212, yang mencakup perubahan untuk memuat tensor Multi-Token Prediction (MTP) hanya jika benar-benar digunakan. Pembaruan ini memastikan bahwa tensor MTP dilewati selama pemuatan pada model-model lain yang mendukung fitur tersebut tetapi tidak membutuhkannya.