github llama.cpp · 12 jam lalu · inference

llama.cpp b10989 mengaktifkan AllReduce untuk ROCm dan menyediakan binari multi-platform

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10989, yang memperkenalkan dukungan untuk mengaktifkan operasi AllReduce di dalam backend ROCm. Pembaruan ini merupakan bagian dari pengembangan berkelanjutan untuk memperluas kompatibilitas perangkat keras dan kemampuan komputasi terdistribusi untuk inferensi model bahasa besar.

Rilis ini mencakup binari pra-dibangun untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x), Windows, dan Android.
Opsi akselerasi GPU diperluas untuk mencakup CUDA 12.8/13.3, Vulkan, OpenVINO, SYCL FP32/FP16, dan ROCm 10.0 di berbagai platform yang didukung.
Build khusus disediakan untuk arsitektur openEuler x86 dan aarch64, termasuk dukungan untuk ACL Graph pada prosesor 910b.
Binari UI mandiri juga tersedia bersama dengan rilis pustaka inti.

Rilis ini memungkinkan pengguna memanfaatkan GPU AMD berbasis ROCm dengan fungsionalitas AllReduce sambil menyediakan binari yang diperbarui untuk berbagai sistem operasi dan akselerator perangkat keras.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10995 membuat tail BN/2 MUL_MAT_ID Vulkan menjadi tanpa syarat

Proyek llama.cpp merilis build b10995, yang memodifikasi penanganan operasi MUL_MAT_ID oleh backend Vulkan. Secara khusus, perubahan ini membuat tail BN/2 menjadi tanpa syarat dengan menggunakan BN/2 sebagai default untuk BNover2 dan sebagai fallback dinonaktifkan untuk BNover4, sambil menghapus gate enable dari cabang tersebut.

github llama.cpp · 16 jam lalu · 1 tayangan

llama.cpp b10988 menambahkan pemilihan perkalian matriah ahli MoE melalui OpenCL untuk dekoding spekulatif

Proyek llama.cpp merilis build b10988, memperkenalkan perubahan pada backend OpenCL khususnya untuk model Mixture of Experts (MoE). Pembaruan ini mengimplementasikan logika untuk memilih perkalian matriah ahli MoE berdasarkan ukuran batch selama dekoding spekulatif dan prediksi multi-token.

github llama.cpp · 21 jam lalu · 1 tayangan

llama.cpp b10984 menambahkan dukungan CUDA untuk SUM_ROWS baris-kontigu

Proyek llama.cpp merilis versi b10984, memperkenalkan dukungan CUDA untuk operasi SUM_ROWS baris-kontigu. Pembaruan ini juga mengatur kode untuk menyertakan GGML_OP_MEAN guna menangani tensor baris-kontigu melalui kernel bersama.

github llama.cpp · 21 jam lalu · 1 tayangan

llama.cpp b10985 membatasi cache hash RPC ke bobot

Proyek llama.cpp merilis build b10985, yang memodifikasi backend RPC untuk membatasi caching berbasis hash secara eksklusif ke tensor bobot. Perubahan ini mengatasi masalah di mana data aktivasi tidak perlu di-hash dan disimpan, menyebabkan penggunaan disk yang berlebihan.

github llama.cpp · 1 hari lalu · 4 tayangan

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.