github llama.cpp · baru saja · inference

llama.cpp b11138 mengurai +/- unary sebelum variabel

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11138, yang memperbarui parser template Jinja untuk menangani operator plus dan minus unary sebelum variabel.

Lexer sekarang mengeluarkan token unary_operator untuk ekspresi seperti -n atau +n, memungkinkan mereka diurai dengan prioritas perkalian.
Perubahan ini memungkinkan evaluasi slice yang benar seperti items[:-n] dan GigaChat indent[:-indent_factor].
+/- unary dibatasi hanya mengikat operand primer atau postfix, memastikan bahwa -n|abs dievaluasi sebagai (-n)|abs bukan -(n|abs).
Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows, dan openEuler.

Pembaruan ini memastikan bahwa logika template yang melibatkan pengindeksan negatif atau variabel bertanda berfungsi dengan benar dalam implementasi Jinja llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11140 mengaktifkan sparse-fa untuk prefill dsv4 pada CUDA

Proyek llama.cpp merilis versi b11140, yang mencakup optimasi CUDA yang mengaktifkan sparse-fa untuk prefill dsv4. Pembaruan ini mengatasi masalah kinerja dalam proses pemindaian mask flash attention dengan membuat template kernel untuk memungkinkan unrolling loop pada waktu kompilasi.

github llama.cpp · 2 jam lalu · 12 tayangan

llama.cpp b11136 menambahkan dukungan video_url OpenAI ke llama-server

Proyek llama.cpp merilis build b11136, yang memperbarui llama-server untuk menerima jenis konten "video_url" standar OpenAI untuk input video. Sebelumnya, server hanya menerima tipe non-standar "input_video" dan menolak URI data, menyebabkan masalah kompatibilitas dengan klien yang sesuai dengan OpenAI.

github llama.cpp · 3 jam lalu · 11 tayangan

llama.cpp b11132 menambahkan dukungan backbone draf Gemma 4 DSpark

Proyek llama.cpp merilis versi b11132, memperkenalkan dukungan untuk backbone draf Gemma 4 DSpark. Pembaruan ini mengaktifkan konversi GGUF dan kemampuan runtime untuk draf Gemma 4 dengan perhatian penuh dan SWA, termasuk bobot output terikat dan metadata backbone boolean.

github llama.cpp · 8 jam lalu · 12 tayangan

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 9 jam lalu · 12 tayangan

llama.cpp b11120 menyembunyikan simbol internal Vulkan untuk memperbaiki penghancuran state

Proyek llama.cpp merilis versi b11120, yang mengatasi bug kritis pada backend Vulkan dengan menyembunyikan simbol internal. Perubahan ini mencegah masalah penghancuran state akibat duplicate-dlopen yang terjadi ketika simbol internal diekspor.