github llama.cpp · 1 jam lalu · inference

llama.cpp b10636 menonaktifkan build UI npm secara default dan membersihkan CI

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10636, yang mengubah perilaku default saat membangun antarmuka web. Build UI berbasis npm sekarang dinonaktifkan secara default (LLAMA_BUILD_UI=OFF), dengan UI disematkan dari sumber lokal atau unduhan pra-build.

Pekerjaan CI tidak lagi melakukan build UI melalui npm; sanitisasi server tidak memerlukan Node.js lagi.
Artefak ui-build telah dinamai ulang menjadi llama-ui.zip dan digunakan kembali di pekerjaan release.
Build macOS Apple Silicon dengan KleidiAI dinonaktifkan.
Dukungan Windows arm64 CUDA 13 ditandai sebagai preview.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras, termasuk CPU, Vulkan, ROCm, OpenVINO, SYCL, dan CUDA.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10635 membuka mmq untuk MoE di sm_60

Proyek llama.cpp merilis versi b10635, yang mencakup pembaruan spesifik untuk dukungan CUDA. Perubahan utamanya adalah pembukaan kembali perkalian matrik presisi campuran (mmq) untuk arsitektur Mixture of Experts (MoE) pada GPU dengan kemampuan komputasi 6.0 (sm_60).

github llama.cpp · 2 hari lalu · 11 tayangan

llama.cpp b10635 membuka mmq untuk MoE di sm_60

llama.cpp b10604 menambahkan dukungan format DSV4 Deepseek 4 dan biner untuk macOS/iOS

llama.cpp b10598 menggunakan algoritma resize pillow-accurate dan memperbaiki resize_algo untuk semua model

llama.cpp b10593 memperbaiki rollback DeepseekV4 dan pemuatan model

llama.cpp b10584 memperbaiki ukuran konteks draf untuk mencegah kesalahan server 500