github llama.cpp · 3 jam lalu · inference

llama.cpp b10822 menyemat aset UI dengan CMake dan menyederhanakan kompilasi silang

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10822, yang memodifikasi sistem build untuk menyematkan langsung aset antarmuka pengguna menggunakan CMake. Perubahan ini menghilangkan kebutuhan akan pembantu C++ saat build dan dependensi gzip eksternal, sehingga menyederhanakan proses kompilasi silang.

Kode C++ yang dihasilkan disimpan dalam template untuk menjaga keterbacaan sambil mempertahankan aset UI yang sepenuhnya disematkan.
Binari pra-build tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu dengan CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 10.0, OpenVINO, SYCL), dan openEuler.
Build macOS Apple Silicon dengan KleidiAI dinonaktifkan dalam rilis ini.

Pembaruan ini merampingkan infrastruktur build untuk pengembang sambil memberikan dukungan platform yang komprehensif untuk versi terbaru llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10816 menambahkan penyetelan fa-vec untuk M3 dan biner baru

Proyek llama.cpp telah merilis versi b10816, yang mencakup pembaruan pada backend Metal untuk perangkat Apple Silicon. Rilis ini berfokus pada penambahan penyetelan fast-vector yang tersisa secara khusus untuk arsitektur chip M3.

github llama.cpp · 2 hari lalu · 5 tayangan

llama.cpp b10796 menambahkan n_expert_used_max untuk memperbaiki pemuatan Nemotron-3-Puzzle

Proyek llama.cpp merilis build b10796, yang mencakup perubahan pada pemuat model untuk mendukung model dengan jumlah ahli yang berbeda per lapisan.

github llama.cpp · 3 hari lalu · 9 tayangan

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

github llama.cpp · 4 hari lalu · 6 tayangan

ggml-org merilis llama.cpp b10774 dengan perbaikan cache KV untuk fine-tuning

Proyek ggml-org telah merilis versi b10774 dari llama.cpp, yang mencakup perbaikan untuk masalah tidak adanya cache KV di modul fine-tuning.

github llama.cpp · 4 hari lalu · 16 tayangan

llama.cpp b10763 mengaktifkan preserve_reasoning secara default

Proyek llama.cpp merilis build b10763, yang mengubah perilaku default dari argumen kata kunci `preserve_reasoning` template chat. Server sekarang mencatat status efektif kwarg ini dan mengeluarkan peringatan ketika diaktifkan secara default pada template yang mendukungnya.