github llama.cpp · baru saja · inference

llama.cpp b11136 menambahkan dukungan video_url OpenAI ke llama-server

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11136, yang memperbarui llama-server untuk menerima jenis konten "video_url" standar OpenAI untuk input video. Sebelumnya, server hanya menerima tipe non-standar "input_video" dan menolak URI data, menyebabkan masalah kompatibilitas dengan klien yang sesuai dengan OpenAI.

Menerima "video_url" sebagai alias untuk "input_video" di API penyelesaian chat.
Membaca objek media dari kunci manapun untuk memastikan kompatibilitas mundur.
Mengizinkan URI data: untuk konten video (data:video/*), mencerminkan dukungan yang ada untuk gambar.
Menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di backend CPU, GPU, dan NPU.

Perubahan ini memungkinkan klien yang kompatibel dengan OpenAI untuk berhasil mengirim data video ke llama-server tanpa mengalami kesalahan jenis konten yang tidak didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 7 jam lalu · 12 tayangan

llama.cpp b11120 menyembunyikan simbol internal Vulkan untuk memperbaiki penghancuran state

Proyek llama.cpp merilis versi b11120, yang mengatasi bug kritis pada backend Vulkan dengan menyembunyikan simbol internal. Perubahan ini mencegah masalah penghancuran state akibat duplicate-dlopen yang terjadi ketika simbol internal diekspor.

github llama.cpp · 12 jam lalu · 13 tayangan

llama.cpp b11118 memperkenalkan direktori DMA terpetakan langsung untuk penanganan mask FA HVX

Proyek llama.cpp telah merilis build b11118, yang mencakup fitur hex-dma baru yang memperkenalkan direktori DMA terpetakan langsung lebih cocok untuk penanganan mask FA Hexagon Vector eXtended (HVX).

github llama.cpp · 23 jam lalu · 9 tayangan

llama.cpp menambahkan dukungan DFlash untuk HunyuanOCR dan memperbaiki konversi draf

Proyek llama.cpp telah menambahkan dukungan untuk dekode spekulatif DFlash dengan model HunyuanOCR dengan mengekspos tensor input lapisan dalam grafik target. Perubahan ini memungkinkan model draf membaca aliran residual, sehingga permintaan gambar dapat berjalan sukses dengan tingkat penerimaan draf sekitar 0,5 dan output OCR yang identik secara byte dibandingkan dengan eksekusi non-spekulatif.

github llama.cpp · 1 hari lalu · 14 tayangan

llama.cpp b11104 menambahkan dukungan untuk mengikat llama-server ke beberapa alamat

Proyek llama.cpp merilis versi b11104, memperkenalkan fitur baru yang memungkinkan komponen llama-server untuk mengikat ke beberapa alamat jaringan secara bersamaan.