github llama.cpp · 1 jam lalu · inference

llama.cpp b11001 memperbaiki korupsi transpose int16 pada RISC-V

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11001, yang mencakup perbaikan kritis untuk fungsi `permute_transpose_impl` yang menangani data int16 pada arsitektur RISC-V.

Versi sebelumnya secara keliru memanggil `rvv_transposed_s32_mn_to_nm` untuk bilangan bulat 16-bit, menyebabkan hasil transpose yang korup di mana 14 dari 16 posisi salah dalam matriks 4x4.
Perbaikan mengganti panggilan yang salah tersebut dengan fungsi `rvv_transposed_s16_mn_to_nm` yang benar, yang sudah tersedia dan digunakan di tempat lain dalam flash attention.
Binari disediakan untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android, dan openEuler.

Pembaruan ini memastikan transpose data yang benar untuk operasi int16 pada perangkat keras RISC-V, mencegah kesalahan perhitungan pada model yang terdampak.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10995 membuat tail BN/2 MUL_MAT_ID Vulkan menjadi tanpa syarat

Proyek llama.cpp merilis build b10995, yang memodifikasi penanganan operasi MUL_MAT_ID oleh backend Vulkan. Secara khusus, perubahan ini membuat tail BN/2 menjadi tanpa syarat dengan menggunakan BN/2 sebagai default untuk BNover2 dan sebagai fallback dinonaktifkan untuk BNover4, sambil menghapus gate enable dari cabang tersebut.

github llama.cpp · 15 jam lalu · 2 tayangan

llama.cpp b10989 mengaktifkan AllReduce untuk ROCm dan menyediakan binari multi-platform

Proyek llama.cpp telah merilis versi b10989, yang memperkenalkan dukungan untuk mengaktifkan operasi AllReduce di dalam backend ROCm. Pembaruan ini merupakan bagian dari pengembangan berkelanjutan untuk memperluas kompatibilitas perangkat keras dan kemampuan komputasi terdistribusi untuk inferensi model bahasa besar.

github llama.cpp · 20 jam lalu · 1 tayangan

llama.cpp b10988 menambahkan pemilihan perkalian matriah ahli MoE melalui OpenCL untuk dekoding spekulatif

Proyek llama.cpp merilis build b10988, memperkenalkan perubahan pada backend OpenCL khususnya untuk model Mixture of Experts (MoE). Pembaruan ini mengimplementasikan logika untuk memilih perkalian matriah ahli MoE berdasarkan ukuran batch selama dekoding spekulatif dan prediksi multi-token.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10984 menambahkan dukungan CUDA untuk SUM_ROWS baris-kontigu

Proyek llama.cpp merilis versi b10984, memperkenalkan dukungan CUDA untuk operasi SUM_ROWS baris-kontigu. Pembaruan ini juga mengatur kode untuk menyertakan GGML_OP_MEAN guna menangani tensor baris-kontigu melalui kernel bersama.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10985 membatasi cache hash RPC ke bobot

Proyek llama.cpp merilis build b10985, yang memodifikasi backend RPC untuk membatasi caching berbasis hash secara eksklusif ke tensor bobot. Perubahan ini mengatasi masalah di mana data aktivasi tidak perlu di-hash dan disimpan, menyebabkan penggunaan disk yang berlebihan.