github llama.cpp · baru saja · inference

llama.cpp b10418 menambahkan dukungan memori host tetap untuk SYCL

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10418, memperkenalkan dukungan memori host tetap untuk meningkatkan akses memori Host-ke-Perangkat pada SYCL. Pembaruan ini mengatasi masalah keamanan utas dalam implementasi backend.

Menambahkan dukungan ggml_backend_sycl_host_buffer_type_get_max_size untuk memori host tetap.
Memperbaiki masalah keamanan utas di backend SYCL.
Menyertakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), dan openEuler.
Menyediakan paket UI terpadu untuk semua platform.

Rilis ini memungkinkan transfer data yang lebih cepat antara memori host dan perangkat untuk perangkat keras yang kompatibel dengan SYCL sambil memastikan stabilitas melalui keamanan utas yang ditingkatkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

Backend OpenVINO llama.cpp menambahkan dukungan Qwen3.5 dan optimasi memori

Proyek llama.cpp telah menggabungkan pembaruan signifikan pada backend OpenVINO-nya, terutama mengaktifkan dukungan untuk keluarga model Qwen3.5 dan memperkenalkan beberapa teknik optimasi memori.

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp b10414 menambahkan dukungan TQ2_0 dan mengoptimalkan kernel mul_mv

Proyek llama.cpp merilis build b10414, memperkenalkan dukungan untuk jenis kuantisasi ternary GGML_TYPE_TQ2_0 di backend Metal. Pembaruan ini juga mencakup optimasi pada kernel mul_mv tensor kontigu (cont).

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp b10354 memperbaiki mask afinitas CPU di Android

Proyek llama.cpp telah merilis versi b10354, yang mencakup perbaikan untuk mask afinitas CPU yang diabaikan pada perangkat Android.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp b10344 menambahkan dukungan MTP untuk model Nemotron

Proyek llama.cpp telah merilis build b10344, yang memperkenalkan dukungan Multi-Token Prediction (MTP) secara khusus untuk model Nemotron dan Nemotron Nano.

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp menambahkan arsitektur Granite-Switch dengan router dalam grafik untuk pemilihan LoRA per-token

Proyek llama.cpp memperkenalkan dukungan untuk arsitektur Granite-Switch, varian model padat yang menampilkan N adapter LoRA tertanam yang dipilih per-token melalui token kontrol. Implementasi ini menggantikan indeks lengket global proof-of-concept sebelumnya dengan mekanisme perhatian "router" kausal dalam grafik untuk menyelesaikan indeks adapter.