github llama.cpp · 1 jam lalu · inference

llama.cpp b11009 memperbaiki keadaan terbelah untuk QKV yang digabungkan pada gemma4 dan qwen35

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11009, yang mengatasi masalah kritis dengan keadaan terbelah dan perhitungan granularitas untuk lapisan perhatian QKV yang digabungkan.

Kode model sekarang menghitung keadaan terbelah untuk attn_qkv berdasarkan n_head * n_embd_head_k, menyelesaikan masalah kompatibilitas dengan model gemma4 yang menggunakan flag --fuse-qkv di mana n_embd adalah 5376 tetapi Q adalah 8192.
Dukungan untuk lapisan perhatian penuh yang digabungkan telah ditambahkan untuk arsitektur qwen35 dan qwen35moe.
Tag TODO [TAG_SPLIT_QGATE_QWEN] ditambahkan untuk melacak pekerjaan lebih lanjut pada pembagian QGate untuk model Qwen.

Rilis ini memastikan bahwa konfigurasi model tertentu, khususnya yang melibatkan operasi QKV yang digabungkan di gemma4 dan qwen35, berfungsi dengan benar tanpa kesalahan perhitungan keadaan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11006 menambahkan dukungan Hexagon untuk K-Quants Q4_K dan Q6_K

Proyek llama.cpp merilis versi b11006, memperkenalkan dukungan untuk prosesor Qualcomm Hexagon guna menangani format K-Quantization. Pembaruan ini mengimplementasikan kernel spesifik untuk tingkat kuantisasi Q4_K dan Q6_K pada arsitektur Hexagon.

github llama.cpp · 4 jam lalu · 2 tayangan

llama.cpp b11005 menerima rope probe nol untuk mengurangi pemecahan grafik

Proyek llama.cpp merilis versi b11005, yang mencakup perbaikan untuk backend Hexagon agar menerima rope probe nol di supports_op.

github llama.cpp · 5 jam lalu · 2 tayangan

llama.cpp menambahkan dukungan untuk HrmTextForCausalLM (DFM Mimir 1B)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur HrmTextForCausalLM, khususnya memungkinkan inferensi untuk model DFM Mimir 1B. Implementasi ini memperkenalkan penulis dan pemuat GGUF baru untuk menangani struktur unik model tersebut, yang menjalankan dua tumpukan transformer secara bergantian dalam siklus atas aliran token yang sama.

github llama.cpp · 7 jam lalu · 1 tayangan

llama.cpp b11001 memperbaiki korupsi transpose int16 pada RISC-V

Proyek llama.cpp merilis build b11001, yang mencakup perbaikan kritis untuk fungsi `permute_transpose_impl` yang menangani data int16 pada arsitektur RISC-V.

github llama.cpp · 13 jam lalu · 1 tayangan

llama.cpp b10995 membuat tail BN/2 MUL_MAT_ID Vulkan menjadi tanpa syarat

Proyek llama.cpp merilis build b10995, yang memodifikasi penanganan operasi MUL_MAT_ID oleh backend Vulkan. Secara khusus, perubahan ini membuat tail BN/2 menjadi tanpa syarat dengan menggunakan BN/2 sebagai default untuk BNover2 dan sebagai fallback dinonaktifkan untuk BNover4, sambil menghapus gate enable dari cabang tersebut.