github llama.cpp · baru saja · inference

llama.cpp menambahkan dukungan untuk HrmTextForCausalLM (DFM Mimir 1B)

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur HrmTextForCausalLM, khususnya memungkinkan inferensi untuk model DFM Mimir 1B. Implementasi ini memperkenalkan penulis dan pemuat GGUF baru untuk menangani struktur unik model tersebut, yang menjalankan dua tumpukan transformer secara bergantian dalam siklus atas aliran token yang sama.

Proses konversi memetakan proyeksi gqkv yang digabungkan ke q/k/v llama.cpp ditambah tensor gerbang sigmoid terpisah.
Cache KV menangani aliasing blok untuk arsitektur berlapis, menyimpan satu entri per putaran di seluruh 128 lapisan.
Inferensi diverifikasi terhadap keluaran referensi Hugging Face dengan hasil argmax identik di 334 posisi.
Kuantisasi ke q8_0 mempertahankan akurasi top-1 sebesar 95.8%, dengan sisa kesalahan terbatas dalam top-5 HF.

Penambahan ini memungkinkan pengguna menjalankan model HRM-text pada perangkat keras lokal, meskipun hal ini disertai dengan pengorbanan kinerja yang signifikan karena desain arsitekturnya.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11001 memperbaiki korupsi transpose int16 pada RISC-V

Proyek llama.cpp merilis build b11001, yang mencakup perbaikan kritis untuk fungsi `permute_transpose_impl` yang menangani data int16 pada arsitektur RISC-V.

github llama.cpp · 8 jam lalu · 1 tayangan

llama.cpp b10995 membuat tail BN/2 MUL_MAT_ID Vulkan menjadi tanpa syarat

Proyek llama.cpp merilis build b10995, yang memodifikasi penanganan operasi MUL_MAT_ID oleh backend Vulkan. Secara khusus, perubahan ini membuat tail BN/2 menjadi tanpa syarat dengan menggunakan BN/2 sebagai default untuk BNover2 dan sebagai fallback dinonaktifkan untuk BNover4, sambil menghapus gate enable dari cabang tersebut.

github llama.cpp · 16 jam lalu · 2 tayangan

llama.cpp b10989 mengaktifkan AllReduce untuk ROCm dan menyediakan binari multi-platform

Proyek llama.cpp telah merilis versi b10989, yang memperkenalkan dukungan untuk mengaktifkan operasi AllReduce di dalam backend ROCm. Pembaruan ini merupakan bagian dari pengembangan berkelanjutan untuk memperluas kompatibilitas perangkat keras dan kemampuan komputasi terdistribusi untuk inferensi model bahasa besar.

github llama.cpp · 21 jam lalu · 1 tayangan

llama.cpp b10988 menambahkan pemilihan perkalian matriah ahli MoE melalui OpenCL untuk dekoding spekulatif

Proyek llama.cpp merilis build b10988, memperkenalkan perubahan pada backend OpenCL khususnya untuk model Mixture of Experts (MoE). Pembaruan ini mengimplementasikan logika untuk memilih perkalian matriah ahli MoE berdasarkan ukuran batch selama dekoding spekulatif dan prediksi multi-token.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10984 menambahkan dukungan CUDA untuk SUM_ROWS baris-kontigu

Proyek llama.cpp merilis versi b10984, memperkenalkan dukungan CUDA untuk operasi SUM_ROWS baris-kontigu. Pembaruan ini juga mengatur kode untuk menyertakan GGML_OP_MEAN guna menangani tensor baris-kontigu melalui kernel bersama.