github llama.cpp · 1 jam lalu · inference

Rilis llama.cpp b10926 menangani kuantisasi tq1_0 yang tidak didukung dengan lancar

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10926, yang mencakup perbaikan untuk menangani kuantisasi tq1_0 yang tidak didukung dengan cara gagal secara lancar. Pembaruan ini mengatasi isu #28681 untuk meningkatkan stabilitas saat menemui format kuantisasi spesifik ini.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu dengan backend CPU, Vulkan, ROCm 10.0, OpenVINO, dan SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan ROCm 10.0), serta arsitektur openEuler.

Pembaruan ini memastikan bahwa pengguna dapat terus menggunakan llama.cpp tanpa mengalami crash saat model memanfaatkan skema kuantisasi tq1_0.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10921 menyelaraskan ikatan tensor WebGPU ke ukuran blok

Proyek llama.cpp telah merilis build b10921, yang mencakup perbaikan untuk WebGPU dengan menyelaraskan ikatan tensor ke ukuran blok tipe. Perubahan ini memastikan bahwa tampilan kuantisasi blok menerima offset elemen yang valid di shader dengan berjalan mundur pada offset ikatan hingga jarak ke tensor merupakan bilangan bulat blok.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10906 memperbaiki spekulasi setelah gambar di server

Proyek llama.cpp merilis versi b10906, yang mencakup perbaikan untuk komponen server terkait decoding spekulatif setelah input gambar. Perubahan ini memastikan bahwa posisi aktual dilewatkan ke drafter alih-alih jumlah token, memengaruhi semua drafter dan bukan hanya DFlash.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10899 menambahkan optimasi Vulkan untuk Qwen dan dukungan split_k

Proyek llama.cpp merilis versi b10899, memperkenalkan peningkatan kinerja spesifik pada backend Vulkan-nya. Pembaruan ini berfokus pada mengoptimalkan operasi matriks untuk keluarga model Qwen dan meningkatkan kinerja umum dengan M kecil.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10896 memperbaiki kegagalan dekoding DFlash dengan model visi

Proyek llama.cpp merilis build b10896, yang mengatasi masalah kritis di mana memori drafter gagal mengalokasikan token baru saat menggunakan DFlash dengan model visi. Kegagalan ini terjadi karena gambar melaporkan offset tetap, mencegah alokasi token yang tepat.

github llama.cpp · 4 hari lalu · 2 tayangan

llama.cpp menonaktifkan pemuatan tensor malas secara default pada iGPU

Proyek llama.cpp telah menonaktifkan pemuatan tensor malas secara default untuk GPU terintegrasi (iGPU) dalam rilis b10867. Perubahan ini mengatasi regresi yang diperkenalkan dalam pengaturan mode "AUTO" sebelumnya.