github llama.cpp · baru saja · inference

llama.cpp b10444 menambahkan dukungan model asisten MTP dan menghapus eagle3

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10444, memperkenalkan dukungan untuk memuat model asisten Prediksi Multi-Token (MTP) melalui flag `--models-dir`. Pembaruan ini juga mencakup pemeriksaan awalan ketat untuk model MTP dalam preset dan menghapus dukungan untuk tipe draf eagle3.

common: dukungan pemuatan model asisten MTP dengan --models-dir
common: preset: periksa model MTP dengan awalan ketat
tangani tipe draf lainnya
hapus eagle3

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10442 menambahkan Vulkan SHMEM_STRIDE_PAD untuk Intel Xe dan memperbaiki bacaan OOB

Proyek llama.cpp merilis versi b10442, memperkenalkan optimasi Vulkan spesifik untuk perangkat keras Intel Xe sambil mengatasi masalah keamanan memori dalam rutinitas perkalian matriks.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10434 meneruskan reasoning_effort ke template

Proyek llama.cpp merilis build b10434, yang menambahkan dukungan untuk meneruskan parameter `reasoning_effort` ke template Jinja. Perubahan ini memastikan bahwa nilai `reasoning_effort` dari OpenAI Chat Completions disimpan dan tersedia selama generasi.

github llama.cpp · 2 hari lalu

llama.cpp b10442 menambahkan Vulkan SHMEM_STRIDE_PAD untuk Intel Xe dan memperbaiki bacaan OOB

llama.cpp b10434 meneruskan reasoning_effort ke template

llama.cpp b10418 menambahkan dukungan memori host tetap untuk SYCL

Backend OpenVINO llama.cpp menambahkan dukungan Qwen3.5 dan optimasi memori

llama.cpp b10414 menambahkan dukungan TQ2_0 dan mengoptimalkan kernel mul_mv