github llama.cpp · 1 jam lalu · inference

llama.cpp b10447 mendesain ulang model utas yield_to_queue

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10447, yang mencakup desain ulang model utas `yield_to_queue`. Perubahan ini melibatkan menjalankan `common_speculative_process` di worker dan menukar desain utas worker ke utama.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu dengan CPU, Vulkan, OpenVINO, SYCL, dan ROCm dinonaktifkan), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan ROCm 7.14), dan openEuler (dengan beberapa build dinonaktifkan).

Pembaruan ini tersedia untuk diunduh di semua platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10444 menambahkan dukungan model asisten MTP dan menghapus eagle3

Proyek llama.cpp telah merilis versi b10444, memperkenalkan dukungan untuk memuat model asisten Prediksi Multi-Token (MTP) melalui flag `--models-dir`. Pembaruan ini juga mencakup pemeriksaan awalan ketat untuk model MTP dalam preset dan menghapus dukungan untuk tipe draf eagle3.

github llama.cpp · 6 jam lalu

llama.cpp b10442 menambahkan Vulkan SHMEM_STRIDE_PAD untuk Intel Xe dan memperbaiki bacaan OOB

Proyek llama.cpp merilis versi b10442, memperkenalkan optimasi Vulkan spesifik untuk perangkat keras Intel Xe sambil mengatasi masalah keamanan memori dalam rutinitas perkalian matriks.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b10434 meneruskan reasoning_effort ke template

Proyek llama.cpp merilis build b10434, yang menambahkan dukungan untuk meneruskan parameter `reasoning_effort` ke template Jinja. Perubahan ini memastikan bahwa nilai `reasoning_effort` dari OpenAI Chat Completions disimpan dan tersedia selama generasi.

github llama.cpp · 2 hari lalu

llama.cpp b10418 menambahkan dukungan memori host tetap untuk SYCL

Proyek llama.cpp merilis versi b10418, memperkenalkan dukungan memori host tetap untuk meningkatkan akses memori Host-ke-Perangkat pada SYCL. Pembaruan ini mengatasi masalah keamanan utas dalam implementasi backend.

github llama.cpp · 2 hari lalu · 4 tayangan

Backend OpenVINO llama.cpp menambahkan dukungan Qwen3.5 dan optimasi memori

Proyek llama.cpp telah menggabungkan pembaruan signifikan pada backend OpenVINO-nya, terutama mengaktifkan dukungan untuk keluarga model Qwen3.5 dan memperkenalkan beberapa teknik optimasi memori.