github llama.cpp · 1 jam lalu · inference

llama.cpp b10434 meneruskan reasoning_effort ke template

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10434, yang menambahkan dukungan untuk meneruskan parameter `reasoning_effort` ke template Jinja. Perubahan ini memastikan bahwa nilai `reasoning_effort` dari OpenAI Chat Completions disimpan dan tersedia selama generasi.

Server sekarang membaca `reasoning_effort` dengan benar dari body permintaan.
Logika konversi API Responses menangani pemetaan `reasoning.effort` ke `reasoning_effort`.
Parameter ini diekspos di `generation_params` dan diposisikan di sebelah `enable_thinking`.
Konteks diteruskan melalui fungsi analyze untuk mencerminkan perilaku `preserve_reasoning`.

Pembaruan ini memungkinkan pengguna mengendalikan tingkat upaya penalaran secara langsung melalui input template, memfasilitasi konfigurasi parameter inferensi model yang lebih granular.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10418 menambahkan dukungan memori host tetap untuk SYCL

Proyek llama.cpp merilis versi b10418, memperkenalkan dukungan memori host tetap untuk meningkatkan akses memori Host-ke-Perangkat pada SYCL. Pembaruan ini mengatasi masalah keamanan utas dalam implementasi backend.

github llama.cpp · 22 jam lalu

Backend OpenVINO llama.cpp menambahkan dukungan Qwen3.5 dan optimasi memori

Proyek llama.cpp telah menggabungkan pembaruan signifikan pada backend OpenVINO-nya, terutama mengaktifkan dukungan untuk keluarga model Qwen3.5 dan memperkenalkan beberapa teknik optimasi memori.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10414 menambahkan dukungan TQ2_0 dan mengoptimalkan kernel mul_mv

Proyek llama.cpp merilis build b10414, memperkenalkan dukungan untuk jenis kuantisasi ternary GGML_TYPE_TQ2_0 di backend Metal. Pembaruan ini juga mencakup optimasi pada kernel mul_mv tensor kontigu (cont).

github llama.cpp · 4 hari lalu · 15 tayangan

llama.cpp b10354 memperbaiki mask afinitas CPU di Android

Proyek llama.cpp telah merilis versi b10354, yang mencakup perbaikan untuk mask afinitas CPU yang diabaikan pada perangkat Android.

github llama.cpp · 4 hari lalu · 15 tayangan

llama.cpp b10344 menambahkan dukungan MTP untuk model Nemotron

Proyek llama.cpp telah merilis build b10344, yang memperkenalkan dukungan Multi-Token Prediction (MTP) secara khusus untuk model Nemotron dan Nemotron Nano.