github llama.cpp · 1 jam lalu · inference

llama.cpp b10763 mengaktifkan preserve_reasoning secara default

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10763, yang mengubah perilaku default dari argumen kata kunci `preserve_reasoning` template chat. Server sekarang mencatat status efektif kwarg ini dan mengeluarkan peringatan ketika diaktifkan secara default pada template yang mendukungnya.

Metode `--chat-template-kwargs` untuk mengatur opsi ini telah ditinggalkan demi flag eksplisit seperti `--reasoning-preserve` atau `--no-reasoning-preserve`.
Binari pra-dibangun tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), dan openEuler.
Rilis ini mencakup binari UI untuk semua platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10760 memperbaiki stabilitas inferensi Qwen3-tts-0.6b

Proyek llama.cpp merilis build b10760, yang mencakup perbaikan spesifik untuk model Qwen3-tts-0.6B guna mencegah ketidakstabilan numerik selama inferensi.

github llama.cpp · 23 jam lalu · 1 tayangan

llama.cpp b10751 menggabungkan reduksi ahli berbobot MoE untuk CUDA

Proyek llama.cpp merilis build b10751, yang memperkenalkan kernel terintegrasi untuk reduksi ahli berbobot MoE (Mixture of Experts) pada CUDA. Optimisasi ini mengganti baseline sebelumnya yang menjalankan dua kernel fisik dengan satu kernel reduksi berbobot untuk mengurangi lalu lintas memori global antar perantara.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10760 memperbaiki stabilitas inferensi Qwen3-tts-0.6b

llama.cpp b10751 menggabungkan reduksi ahli berbobot MoE untuk CUDA

llama.cpp b10750 mengoptimalkan pencarian n-gram cache KV untuk peningkatan throughput 4,9%

llama.cpp b10742 menambahkan penyetelan fa-vec untuk A18 Pro

llama.cpp b10739 menambahkan penyetelan fa-vec untuk M2 Max