github llama.cpp · 1 jam lalu · inference

llama.cpp b10533 menambahkan fallback elegan untuk pola regex skema JSON yang tidak didukung

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10533, yang mencakup perbaikan untuk menangani pola ekspresi reguler yang tidak didukung dalam skema JSON secara elegan.

Perubahan kode utama memungkinkan sistem melakukan fallback dengan elegan saat menemukan pola regex yang tidak didukung oleh implementasi dasar.
Binari tersedia untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x with CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), Android, dan openEuler.
Dukungan KleidiAI untuk macOS Apple Silicon dinonaktifkan dalam rilis ini, demikian juga dukungan Ubuntu x64 ROCm 7.14.
XCFramework iOS dan paket UI standalone juga disertakan dalam distribusi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10532 menambahkan dekuantisasi KV Metal untuk Flash Attention

Proyek llama.cpp merilis versi b10532, memperkenalkan tahap pra-pemrosesan pada backend Metal yang mendekuantisasi cache Key-Value (KV) terkuantisasi ke F16 sebelum mengeksekusi Flash Attention.

github llama.cpp · 8 jam lalu · 2 tayangan

llama.cpp b10517 menambahkan optimasi dequantisasi FA untuk Vulkan dan perbaikan

Proyek llama.cpp merilis build b10517, memperkenalkan beberapa peningkatan khusus Vulkan pada jalur dequantisasi flash attention (FA). Perubahan utama termasuk melakukan dequantisasi q8_0 KV sekali di coopmat1, melewati jalur dequantisasi FA pada coopmat2, dan mengecualikan Intel Xe1 dari jalur dequantisasi FA.

github llama.cpp · 19 jam lalu · 1 tayangan

llama.cpp b10532 menambahkan dekuantisasi KV Metal untuk Flash Attention

llama.cpp b10517 menambahkan optimasi dequantisasi FA untuk Vulkan dan perbaikan

llama.cpp b10509 menambahkan dukungan ggml_rope_set_offset untuk Metal, CUDA, dan Vulkan

llama.cpp b10427 menggabungkan operasi FFN SYCL untuk peningkatan throughput hingga 12,4%

llama.cpp b10413 menambahkan deteksi otomatis tipe spesifikasi draf dari metadata GGUF