github llama.cpp · 1 jam lalu · inference

llama.cpp b10085 memperbaiki grounding Qwen3-VL dengan menyelaraskan interpolasi embedding posisi

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10085, yang mencakup perbaikan untuk interpolasi embedding posisi model visi Qwen3-VL guna menyelesaikan ketidaksesuaian koordinat grounding.

Perubahan ini mengalihkan metode interpolasi dari bilinear+antialias default (align_corners=False) ke align_corners=True, sesuai dengan implementasi referensi transformers.
Ini memperbaiki masalah penskalaan pada koordinat grounding yang sebelumnya membesar seiring ukuran gambar dan bervariasi per-sumbu untuk gambar non-persegi.
Binari tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10069 menambahkan dukungan broadcast OpenCL untuk Adreno MUL_MAT

Proyek llama.cpp merilis build b10069, yang mencakup pembaruan OpenCL spesifik untuk GPU Qualcomm Adreno. Perubahan utama melibatkan dukungan operasi broadcast untuk kernel Adreno MUL_MAT dan menghormati offset tampilan untuk varian Q8_0 MUL_MAT untuk mengaktifkan fungsionalitas multi-stream di llama-server.

github llama.cpp · 4 hari lalu · 1 tayangan

llama.cpp b10068 memutar cache K/V yang disuntikkan untuk DFlash

Proyek llama.cpp merilis versi b10068, yang memperkenalkan perubahan pada implementasi model DFlash. Pembaruan ini memodifikasi src/models/dflash.cpp untuk memutar cache kunci/nilai (K/V) yang disuntikkan ketika kuantisasi K/V digunakan.

github llama.cpp · 4 hari lalu · 1 tayangan

llama.cpp b10067 mengecualikan tabel perutean DeepSeek-V4 dari kuantisasi

Proyek llama.cpp merilis versi b10067, yang mencakup perbaikan untuk alat `llama-quantize` agar dapat menangani model DeepSeek-V4 dengan benar. Pembaruan ini mencegah kuantizer mencoba mengonversi tensor `ffn_gate_tid2eid`, sebuah tabel indeks token-to-expert i32, ke tipe float.

github llama.cpp · 5 hari lalu

llama.cpp b10066 menambahkan dukungan kernel kernel_gemm_moe_q6_k_f32_ns melalui OpenCL

Proyek llama.cpp telah merilis versi b10066, memperkenalkan dukungan untuk kernel `kernel_gemm_moe_q6_k_f32_ns` melalui OpenCL. Pembaruan ini memungkinkan pemuatan dan penggunaan pustaka kernel biner spesifik ini dalam kerangka kerja.

github llama.cpp · 5 hari lalu · 5 tayangan

Rilis llama.cpp b10064 dengan optimasi transpose OpenCL

Proyek llama.cpp telah merilis versi b10064, yang mencakup perubahan pada backend OpenCL. Pembaruan ini memodifikasi format kuantisasi q4_K dengan mentransposisikan skala noshuffle untuk mengaktifkan pembacaan koalescen.