github llama.cpp · 1 jam lalu · inference

llama.cpp b11005 menerima rope probe nol untuk mengurangi pemecahan grafik

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11005, yang mencakup perbaikan untuk backend Hexagon agar menerima rope probe nol di supports_op.

Sebelumnya, menolak probe dengan n_dims == 0 atau freq_base == 0 memaksa rope_freqs ke CPU, menyebabkan pemecahan grafik yang tidak perlu. Perubahan ini mencegah pemecahan tersebut, mengurangi jumlah pemecahan pada model seperti gemma-4-E2B dari lima menjadi dua.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp menambahkan dukungan untuk HrmTextForCausalLM (DFM Mimir 1B)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur HrmTextForCausalLM, khususnya memungkinkan inferensi untuk model DFM Mimir 1B. Implementasi ini memperkenalkan penulis dan pemuat GGUF baru untuk menangani struktur unik model tersebut, yang menjalankan dua tumpukan transformer secara bergantian dalam siklus atas aliran token yang sama.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b11001 memperbaiki korupsi transpose int16 pada RISC-V

Proyek llama.cpp merilis build b11001, yang mencakup perbaikan kritis untuk fungsi `permute_transpose_impl` yang menangani data int16 pada arsitektur RISC-V.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b10995 membuat tail BN/2 MUL_MAT_ID Vulkan menjadi tanpa syarat

Proyek llama.cpp merilis build b10995, yang memodifikasi penanganan operasi MUL_MAT_ID oleh backend Vulkan. Secara khusus, perubahan ini membuat tail BN/2 menjadi tanpa syarat dengan menggunakan BN/2 sebagai default untuk BNover2 dan sebagai fallback dinonaktifkan untuk BNover4, sambil menghapus gate enable dari cabang tersebut.

github llama.cpp · 18 jam lalu · 2 tayangan

llama.cpp b10989 mengaktifkan AllReduce untuk ROCm dan menyediakan binari multi-platform

Proyek llama.cpp telah merilis versi b10989, yang memperkenalkan dukungan untuk mengaktifkan operasi AllReduce di dalam backend ROCm. Pembaruan ini merupakan bagian dari pengembangan berkelanjutan untuk memperluas kompatibilitas perangkat keras dan kemampuan komputasi terdistribusi untuk inferensi model bahasa besar.

github llama.cpp · 23 jam lalu · 1 tayangan

llama.cpp b10988 menambahkan pemilihan perkalian matriah ahli MoE melalui OpenCL untuk dekoding spekulatif

Proyek llama.cpp merilis build b10988, memperkenalkan perubahan pada backend OpenCL khususnya untuk model Mixture of Experts (MoE). Pembaruan ini mengimplementasikan logika untuk memilih perkalian matriah ahli MoE berdasarkan ukuran batch selama dekoding spekulatif dan prediksi multi-token.