github llama.cpp · 2 jam lalu · inference

llama.cpp b10517 menambahkan optimasi dequantisasi FA untuk Vulkan dan perbaikan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10517, memperkenalkan beberapa peningkatan khusus Vulkan pada jalur dequantisasi flash attention (FA). Perubahan utama termasuk melakukan dequantisasi q8_0 KV sekali di coopmat1, melewati jalur dequantisasi FA pada coopmat2, dan mengecualikan Intel Xe1 dari jalur dequantisasi FA.

Vulkan sekarang melakukan fallback alih-alih abort ketika scratch FA melebihi maxStorageBufferRange.
Rilis ini memerlukan layout KV-cache tertentu di jalur dequantisasi FA.
Pemeriksaan permutasi untuk jalur FA diperketat dan waktu prealloc_x_need_sync dikoreksi.
Ditambahkan tes untuk skenario K/V FA yang dialokasikan secara kontigu.

Pembaruan ini meningkatkan stabilitas dan kinerja bagi pengguna Vulkan dengan menangani kasus tepi dalam manajemen memori dan kompatibilitas perangkat keras.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

Rilis llama.cpp b10208 memperkenalkan dukungan SYCL untuk oneMKL GEMM flash attention, memungkinkan akselerasi perangkat keras XMX untuk pemrosesan prompt. Perubahan ini secara signifikan meningkatkan kecepatan inferensi pada GPU Intel Arc dengan memanfaatkan kernel MKL alih-alih jalur TILE default.

github llama.cpp · 29 hari lalu · 26 tayangan

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.

media r/LocalLLaMA · 7 jam lalu · 2 tayangan

Model MoE G9v3-39A5B menunjukkan hasil kuat di artificialanalysis

Model G9v3-39A5B menarik perhatian karena performanya di artificialanalysis, di mana dilaporkan berada di atas Qwen 3.6 27B.

media Hugging Face Forums · 7 jam lalu · 1 tayangan

Pipeline Celestium memungkinkan SDXL pada GPU 4GB-8GB melalui FP16 adaptif dan fallback CPU

Sebuah diagnostik menggunakan pipeline inferensi agnostik-hardware dari Celestium menunjukkan bahwa Stable Diffusion XL dapat berjalan stabil pada GPU dengan VRAM rendah (4GB, 6GB, dan 8GB) dengan memanfaatkan presisi FP16 adaptif dan pembersihan memori otomatis. Pendekatan ini mencegah lonjakan fragmentasi selama pipeline multi-tahap dan menggunakan mode CPU darurat untuk mempertahankan generasi ketika VRAM GPU habis.

github llama.cpp · 12 jam lalu · 1 tayangan

llama.cpp b10509 menambahkan dukungan ggml_rope_set_offset untuk Metal, CUDA, dan Vulkan

Proyek llama.cpp merilis build b10509, yang memperkenalkan dukungan untuk fungsi `ggml_rope_set_offset` di berbagai backend perangkat keras. Pembaruan ini mencakup implementasi CPU, Metal, CUDA, dan Vulkan untuk operasi baru.