github llama.cpp · 1 jam lalu · inference

llama.cpp b11147 menambahkan kernel OpenCL dp4a non-MoE Q6_K A8

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11147, yang memperkenalkan kernel biner baru untuk OpenCL. Pembaruan ini secara khusus menambahkan dukungan untuk konfigurasi A8 Q6_K non-MoE dp4a.

Menambahkan kernel biner A8 Q6_K non-MoE dp4a untuk OpenCL.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, Adreno, CUDA, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Rilis ini memungkinkan pengguna menjalankan llama.cpp di berbagai platform perangkat keras dengan optimasi kernel terbaru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11132 menambahkan dukungan backbone draf Gemma 4 DSpark

Proyek llama.cpp merilis versi b11132, memperkenalkan dukungan untuk backbone draf Gemma 4 DSpark. Pembaruan ini mengaktifkan konversi GGUF dan kemampuan runtime untuk draf Gemma 4 dengan perhatian penuh dan SWA, termasuk bobot output terikat dan metadata backbone boolean.

github llama.cpp · 11 jam lalu · 12 tayangan

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 1 hari lalu · 13 tayangan

llama.cpp b11111 menambahkan kernel optimasi flash attention untuk Intel Xe

Proyek llama.cpp merilis build b11111, yang memperkenalkan kernel optimasi flash attention berbasis Vulkan untuk jalur split k pada arsitektur Xe-LPG Plus, Xe2, dan Xe3.

github llama.cpp · 1 hari lalu · 11 tayangan

llama.cpp menambahkan dukungan DFlash untuk HunyuanOCR dan memperbaiki konversi draf

Proyek llama.cpp telah menambahkan dukungan untuk dekode spekulatif DFlash dengan model HunyuanOCR dengan mengekspos tensor input lapisan dalam grafik target. Perubahan ini memungkinkan model draf membaca aliran residual, sehingga permintaan gambar dapat berjalan sukses dengan tingkat penerimaan draf sekitar 0,5 dan output OCR yang identik secara byte dibandingkan dengan eksekusi non-spekulatif.

github llama.cpp · 1 hari lalu · 14 tayangan

Rilis llama.cpp b11101 memungkinkan panggilan find_package berulang untuk llama

Proyek llama.cpp telah merilis versi b11101, yang mencakup perbaikan sistem build yang memungkinkan panggilan find_package berulang untuk pustaka llama.