github llama.cpp · baru saja · inference

llama.cpp b10891 memperbaiki crash Vulkan PowerVR dengan kembali ke reduksi memori bersama

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10891, yang mengatasi masalah stabilitas kritis pada GPU PowerVR. Pembaruan ini memodifikasi backend Vulkan agar kembali ke reduksi memori bersama untuk operasi perkalian matriks-vektor dekuantisasi (dmmv).

Perubahan ini menyelesaikan crash yang disebabkan oleh kompiler Vulkan proprietari Imagination yang mengembalikan VK_ERROR_UNKNOWN saat membangun pipeline komputasi dengan reduksi hanya-subgroup.
Perbaikan ini berlaku untuk format kuantisasi k-quants, i-quants, TQ2_0, MXFP4, dan NVFP4 yang sebelumnya gagal pada perangkat seperti Pixel 11 Pro.
Varian reduksi memori bersama berhasil dikompilasi dan cocok dengan hasil referensi CPU untuk kuantisasi q2_K hingga q6_K.
Varian hibrida juga tersedia tetapi menimbulkan penalti kinerja signifikan, mengurangi throughput token menjadi 27% dari laju standar.

Pembaruan ini memastikan bahwa model yang menggunakan format kuantisasi spesifik ini dapat berjalan pada perangkat keras PowerVR tanpa crash selama fase generasi token awal.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Artikel terkait

github llama.cpp · 3 hari lalu · 12 tayangan

llama.cpp b10839 memperbaiki crash akibat offset tidak sejajar pada GET_ROWS Vulkan

Proyek llama.cpp merilis versi b10839, yang mengatasi crash keras di backend Vulkan yang disebabkan oleh offset tidak sejajar selama operasi pengambilan baris tensor. Sebelumnya, model seperti Qwen3-TTS dan Qwen3-VL akan gagal saat menggunakan `ggml_view` dengan offset tampilan bukan nol karena shader melakukan assert pada pelanggaran penyetelan relatif terhadap `minStorageBufferOffsetAlignment`. Pembaruan ini mengimplementasikan dukungan asli untuk offset yang diselaraskan di kedua jalur terkuantisasi dan tidak terkuantisasi, menghilangkan kebutuhan akan fallback CPU.

arxiv arXiv cs.LG · 6 hari lalu · 10 tayangan

FlashAttention-4 memperkenalkan Direct-P untuk inferensi dan pelatihan FP4 yang sadar perangkat keras

FlashAttention-4 mengatasi keterbatasan kinerja inti tensor floating-point 4-bit (FP4) Blackwell dengan memperkenalkan jalur baru untuk inferensi nonkausal dan pelatihan kausal. Metode ini, yang disebut Direct-P, memetakan skor secara langsung ke probabilitas FP4 untuk melewati overhead konversi softmax yang biasanya mendominasi ketika hasil perkalian matriks mengecil.

lab NVIDIA Research · 12 hari lalu · 14 tayangan

Twill secara otomatis menurunkan jadwal pipelining perangkat lunak dan spesialisasi warp optimal untuk GPU Tensor Core

Para peneliti memperkenalkan Twill, sebuah sistem yang memformulasikan pipelining perangkat lunak (SWP) dan spesialisasi warp (WS) sebagai masalah optimasi gabungan yang dapat diselesaikan oleh pemecah kendala siap pakai. Pendekatan ini mengotomatisasi penurunan jadwal eksekusi optimal untuk program iteratif pada arsitektur GPU.

github llama.cpp · 13 hari lalu · 26 tayangan

llama.cpp b10675 menambahkan dukungan hoisting untuk ID baris dan jumlah ahli dalam shader

Proyek llama.cpp merilis versi b10675, yang mencakup pembaruan kunci pada backend Vulkan-nya. Rilis ini menambahkan dukungan hoisting untuk ID baris dan jumlah ahli di dalam kode shader.

github llama.cpp · 13 hari lalu · 12 tayangan

llama.cpp menambahkan penyetelan fa-vec untuk Apple M4 Pro

Proyek llama.cpp telah menambahkan penyetelan vektor perhatian cepat (fa-vec) untuk GPU Apple M4 Pro melalui kontribusi backend Metal baru. Pembaruan ini mengikuti pekerjaan sebelumnya untuk mendukung GPU Apple tambahan dan dihasilkan menggunakan alat `ggml-metal-tuning` pada MacBook Pro 14 inci dari November 2024.