github llama.cpp · baru saja · inference

llama.cpp b10796 menambahkan n_expert_used_max untuk memperbaiki pemuatan Nemotron-3-Puzzle

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10796, yang mencakup perubahan pada pemuat model untuk mendukung model dengan jumlah ahli yang berbeda per lapisan.

Menambahkan fungsi `n_expert_used_max` untuk menangani pemeriksaan lapisan ahli selama pemuatan model.
Memperbarui `llama_model_base::load_hparams` untuk menggunakan `hparams.n_expert_used_max` alih-alih gagal pada asersi.
Memecahkan kesalahan saat memuat model seperti NVIDIA Nemotron-3-Puzzle-75B-A9B yang memiliki konfigurasi ahli tertentu.

Pembaruan ini memungkinkan llama.cpp memuat dan memproses model dengan benar di mana jumlah ahli yang digunakan bervariasi di seluruh lapisan, mencegah kegagalan asersi selama inisialisasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

github llama.cpp · 1 hari lalu · 2 tayangan

ggml-org merilis llama.cpp b10774 dengan perbaikan cache KV untuk fine-tuning

Proyek ggml-org telah merilis versi b10774 dari llama.cpp, yang mencakup perbaikan untuk masalah tidak adanya cache KV di modul fine-tuning.

github llama.cpp · 1 hari lalu · 7 tayangan

llama.cpp b10763 mengaktifkan preserve_reasoning secara default

Proyek llama.cpp merilis build b10763, yang mengubah perilaku default dari argumen kata kunci `preserve_reasoning` template chat. Server sekarang mencatat status efektif kwarg ini dan mengeluarkan peringatan ketika diaktifkan secara default pada template yang mendukungnya.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10760 memperbaiki stabilitas inferensi Qwen3-tts-0.6b

Proyek llama.cpp merilis build b10760, yang mencakup perbaikan spesifik untuk model Qwen3-tts-0.6B guna mencegah ketidakstabilan numerik selama inferensi.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10751 menggabungkan reduksi ahli berbobot MoE untuk CUDA

Proyek llama.cpp merilis build b10751, yang memperkenalkan kernel terintegrasi untuk reduksi ahli berbobot MoE (Mixture of Experts) pada CUDA. Optimisasi ini mengganti baseline sebelumnya yang menjalankan dua kernel fisik dengan satu kernel reduksi berbobot untuk mengurangi lalu lintas memori global antar perantara.