github llama.cpp · baru saja · inference

llama.cpp b10906 memperbaiki spekulasi setelah gambar di server

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10906, yang mencakup perbaikan untuk komponen server terkait decoding spekulatif setelah input gambar. Perubahan ini memastikan bahwa posisi aktual dilewatkan ke drafter alih-alih jumlah token, memengaruhi semua drafter dan bukan hanya DFlash.

Parameter draft `n_past` diubah namanya menjadi `pos0` untuk secara akurat mencerminkan perannya sebagai penunjuk posisi daripada jumlah token.
Menyediakan biner pra-bangun untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Pembaruan ini memperbaiki inkonsistensi nama parameter dan memastikan penanganan posisi yang tepat dalam logika decoding spekulatif server.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10899 menambahkan optimasi Vulkan untuk Qwen dan dukungan split_k

Proyek llama.cpp merilis versi b10899, memperkenalkan peningkatan kinerja spesifik pada backend Vulkan-nya. Pembaruan ini berfokus pada mengoptimalkan operasi matriks untuk keluarga model Qwen dan meningkatkan kinerja umum dengan M kecil.

github llama.cpp · 19 jam lalu · 1 tayangan

llama.cpp b10896 memperbaiki kegagalan dekoding DFlash dengan model visi

Proyek llama.cpp merilis build b10896, yang mengatasi masalah kritis di mana memori drafter gagal mengalokasikan token baru saat menggunakan DFlash dengan model visi. Kegagalan ini terjadi karena gambar melaporkan offset tetap, mencegah alokasi token yang tepat.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp menonaktifkan pemuatan tensor malas secara default pada iGPU

Proyek llama.cpp telah menonaktifkan pemuatan tensor malas secara default untuk GPU terintegrasi (iGPU) dalam rilis b10867. Perubahan ini mengatasi regresi yang diperkenalkan dalam pengaturan mode "AUTO" sebelumnya.

github llama.cpp · 3 hari lalu · 4 tayangan

llama.cpp b10864 memperbaiki eviksi checkpoint untuk model hibrida

Proyek llama.cpp merilis build b10864, yang mencakup perbaikan untuk logika eviksi jarak checkpoint di `create_checkpoint()`. Sebelumnya, aturan eviksi mempertahankan checkpoint tertua dan menghapus yang berikutnya dalam `checkpoint_min_step`, menyebabkan prompt yang lebih pendek dari ambang batas tersebut kehilangan checkpoint yang diperlukan untuk melanjutkan. Hal ini memaksa model hibrida dan rekuren untuk melakukan prefill ulang secara tidak perlu dari checkpoint sebelumnya.

github llama.cpp · 4 hari lalu · 11 tayangan

llama.cpp b10844 menambahkan operasi fusi hyper-connection Vulkan DeepSeek-V4

Proyek llama.cpp merilis versi b10844, memperkenalkan dukungan untuk operasi fusi hyper-connection DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) di backend Vulkan. Pembaruan ini membawa Vulkan setara dengan CUDA dan Metal dalam hal optimasi spesifik ini.