github llama.cpp · 5 jam lalu · inference

llama.cpp menambahkan kernel Metal FA untuk HSK=96, HSV=64 MiniCPM3

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah menambahkan dukungan kernel Flash Attention (FA) untuk konfigurasi spesifik yang digunakan oleh MiniCPM3 di Apple Silicon. Perubahan ini mengatasi crash di mana flag `-fa auto` akan abort karena kurangnya instansiasi kernel untuk panjang kunci perhatian 96 dan panjang nilai 64.

Ditambahkan kernel tile pada (96, 64) untuk setiap tipe K/V yang sudah mendukung (96, 96).
Ditambahkan kernel vec untuk konfigurasi NE=4, karena ini adalah satu-satunya nilai di mana NL membagi DK/4 dan DV/4.
Uji diperbarui untuk menghindari cakupan slice vec FA yang redundan.

Pembaruan ini memungkinkan model MiniCPM3 berjalan dengan Flash Attention diaktifkan pada perangkat macOS dan iOS tanpa mengalami kesalahan kernel.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10984 menambahkan dukungan CUDA untuk SUM_ROWS baris-kontigu

Proyek llama.cpp merilis versi b10984, memperkenalkan dukungan CUDA untuk operasi SUM_ROWS baris-kontigu. Pembaruan ini juga mengatur kode untuk menyertakan GGML_OP_MEAN guna menangani tensor baris-kontigu melalui kernel bersama.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10985 membatasi cache hash RPC ke bobot

Proyek llama.cpp merilis build b10985, yang memodifikasi backend RPC untuk membatasi caching berbasis hash secara eksklusif ke tensor bobot. Perubahan ini mengatasi masalah di mana data aktivasi tidak perlu di-hash dan disimpan, menyebabkan penggunaan disk yang berlebihan.

github llama.cpp · 3 jam lalu · 2 tayangan

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.

github llama.cpp · 19 jam lalu · 3 tayangan

Rilis llama.cpp b10970 menggunakan akumulasi fp32 pada perangkat MFMA

Proyek llama.cpp telah merilis versi b10970, yang mencakup pembaruan teknis pada backend fattn-mma. Perubahan ini mengimplementasikan penggunaan akumulator fp32 secara khusus untuk perangkat arsitektur CDNA.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10956 menambahkan radix select untuk k besar di top_k SYCL

Rilis llama.cpp b10956 memperkenalkan algoritma radix select untuk backend SYCL guna menangani nilai k besar dalam operasi TOP_K, yang sebelumnya jatuh kembali ke CPU untuk k > 32. Perubahan ini memungkinkan pemrosesan berpusat pada GPU untuk k besar dengan menggunakan lewati berbasis histogram yang menjaga jejak memori lokal bersama tetap independen dari k.