github llama.cpp · 1 jam lalu · inference

llama.cpp b10282 menambahkan penghitung spec-decode ke endpoint /metrics

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10282, yang memperkenalkan kemampuan pemantauan baru untuk decoding spekulatif. Server sekarang menyertakan penghitung spec-decode di endpoint /metrics-nya, memungkinkan pengguna melacak metrik kinerja terkait fitur ini.

Menambahkan penghitung spec-decode ke endpoint /metrics untuk observabilitas yang lebih baik.
Menyelaraskan nama parameter secara tepat dengan vLLM setelah umpan balik tinjauan.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Pembaruan ini meningkatkan kemampuan untuk memantau kinerja decoding spekulatif sambil mempertahankan kompatibilitas dengan konvensi penamaan parameter vLLM.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10259 memungkinkan reshaping tensor selama pemuatan

Proyek llama.cpp telah merilis build b10259, yang memperkenalkan kemampuan untuk memungkinkan reshaping tensor selama proses pemuatan.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10254 menambahkan template DeepSeek V4 Flash 0731 dan memperbarui template V4

Proyek llama.cpp merilis versi b10254, memperkenalkan template obrolan baru untuk model DeepSeek V4 Flash 0731 bersama dengan pembaruan pada template DeepSeek V4 yang ada.

github llama.cpp · 2 hari lalu

llama.cpp b10251 menambahkan dukungan MTP untuk GLM-4.7-Flash

Proyek llama.cpp telah merilis build b10251, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.7-Flash.

github llama.cpp · 2 hari lalu

llama.cpp b10238 menambahkan dukungan MTP untuk Qwen3-Next

Proyek llama.cpp merilis build b10238, yang memperkenalkan dukungan Multi-Token Prediction (MTP) untuk keluarga model Qwen3-Next. Pembaruan ini mencakup perubahan implementasi spesifik untuk menangani lapisan MTP dan perbaikan terkait pemeriksaan tipe Python dalam basis kode.

github llama.cpp · 2 hari lalu · 5 tayangan

llama.cpp b10237 menambahkan dukungan MTP untuk DeepSeek V3.2

Proyek llama.cpp merilis build b10237, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model DeepSeek V3.2.