github llama.cpp · 1 jam lalu · inference

ggml-org merilis llama.cpp b10774 dengan perbaikan cache KV untuk fine-tuning

Diterjemahkan dari English → Bahasa Indonesia

Proyek ggml-org telah merilis versi b10774 dari llama.cpp, yang mencakup perbaikan untuk masalah tidak adanya cache KV di modul fine-tuning.

Komponen pelatihan sekarang menangani penggunaan cache KV dengan benar selama operasi fine-tuning.
Binari disediakan untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu dengan CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm), dan openEuler.
XCFramework untuk iOS dan paket UI mandiri juga disertakan dalam aset rilis.

Pembaruan ini memastikan bahwa alur kerja fine-tuning berfungsi dengan benar dengan menangani penanganan cache kunci-nilai yang sebelumnya rusak.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10763 mengaktifkan preserve_reasoning secara default

Proyek llama.cpp merilis build b10763, yang mengubah perilaku default dari argumen kata kunci `preserve_reasoning` template chat. Server sekarang mencatat status efektif kwarg ini dan mengeluarkan peringatan ketika diaktifkan secara default pada template yang mendukungnya.

github llama.cpp · 16 jam lalu · 1 tayangan

llama.cpp b10760 memperbaiki stabilitas inferensi Qwen3-tts-0.6b

Proyek llama.cpp merilis build b10760, yang mencakup perbaikan spesifik untuk model Qwen3-tts-0.6B guna mencegah ketidakstabilan numerik selama inferensi.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10751 menggabungkan reduksi ahli berbobot MoE untuk CUDA

Proyek llama.cpp merilis build b10751, yang memperkenalkan kernel terintegrasi untuk reduksi ahli berbobot MoE (Mixture of Experts) pada CUDA. Optimisasi ini mengganti baseline sebelumnya yang menjalankan dua kernel fisik dengan satu kernel reduksi berbobot untuk mengurangi lalu lintas memori global antar perantara.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10750 mengoptimalkan pencarian n-gram cache KV untuk peningkatan throughput 4,9%

Proyek llama.cpp merilis build b10750, yang melakukan refactor manajemen sel kunci-nilai untuk meningkatkan pengindeksan posisi urutan dan pencarian riwayat n-gram.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10742 menambahkan penyetelan fa-vec untuk A18 Pro

Proyek llama.cpp telah merilis versi b10742, yang mencakup fitur baru yang menambahkan penyetelan vektor cepat (fa-vec) secara khusus untuk chip Apple A18 Pro yang ditemukan di MacBook Neo.