github llama.cpp · 2 jam lalu · inference

llama.cpp b10816 menambahkan penyetelan fa-vec untuk M3 dan biner baru

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10816, yang mencakup pembaruan pada backend Metal untuk perangkat Apple Silicon. Rilis ini berfokus pada penambahan penyetelan fast-vector yang tersisa secara khusus untuk arsitektur chip M3.

Menambahkan entri M3 ke fa_vec_tuned_table.
Termasuk kuantisasi q4_0, q4_1, q5_0, dan q5_1 dalam ggml-metal-tuning.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux, Windows, Android, dan openEuler.
Mendukung berbagai backend termasuk CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL, CUDA 12/13, dan OpenCL Adreno.

Pembaruan ini memastikan kinerja yang dioptimalkan untuk perangkat keras M3 sambil memperluas ketersediaan biner pra-bangun di berbagai sistem operasi dan arsitektur GPU.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10796 menambahkan n_expert_used_max untuk memperbaiki pemuatan Nemotron-3-Puzzle

Proyek llama.cpp merilis build b10796, yang mencakup perubahan pada pemuat model untuk mendukung model dengan jumlah ahli yang berbeda per lapisan.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

github llama.cpp · 2 hari lalu · 3 tayangan

ggml-org merilis llama.cpp b10774 dengan perbaikan cache KV untuk fine-tuning

Proyek ggml-org telah merilis versi b10774 dari llama.cpp, yang mencakup perbaikan untuk masalah tidak adanya cache KV di modul fine-tuning.

github llama.cpp · 2 hari lalu · 9 tayangan

llama.cpp b10763 mengaktifkan preserve_reasoning secara default

Proyek llama.cpp merilis build b10763, yang mengubah perilaku default dari argumen kata kunci `preserve_reasoning` template chat. Server sekarang mencatat status efektif kwarg ini dan mengeluarkan peringatan ketika diaktifkan secara default pada template yang mendukungnya.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10760 memperbaiki stabilitas inferensi Qwen3-tts-0.6b

Proyek llama.cpp merilis build b10760, yang mencakup perbaikan spesifik untuk model Qwen3-tts-0.6B guna mencegah ketidakstabilan numerik selama inferensi.