github llama.cpp · 2 jam lalu · inference

llama.cpp b10618 memperbaiki parsing tata bahasa untuk tanda hubung literal dalam kelas karakter

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10618, yang mencakup perbaikan untuk parser tata bahasa agar dapat menangani tanda hubung literal di dalam kelas karakter dengan benar. Sebelumnya, fungsi `gbnf_escape_char_class()` melakukan escape pada tanda hubung sebagai "\-", tetapi fungsi `parse_char()` menolak urutan escape ini, menyebabkan tata bahasa panggilan alat yang dihasilkan gagal saat parsing.

Pembaruan ini menyelesaikan masalah dengan memungkinkan parser menerima tanda hubung yang di-escape dalam kelas karakter. Rilis ini juga mencakup tes yang diperbarui untuk kasus tepi tata bahasa spesifik ini dan menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai arsitektur dan implementasi backend.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

GGUF NVIDIA Nemotron-3-Omni dengan dukungan audio + video yang berfungsi di llama.cpp (9 kuantisasi teruji, pemrosesan A/V satu tahap)

Seorang pengembang telah merilis paket GGUF lengkap untuk model NVIDIA Nemotron-3-Nano-Omni-30B, menambahkan dukungan audio dan video sebelumnya yang hilang ke ekosistem llama.cpp. Rilis ini mencakup sembilan kuantisasi mulai dari Q3_K_M hingga BF16 serta file proyektor terpadu yang menggabungkan encoder visi C-RADIO dan encoder audio Parakeet.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10615 menambahkan vec flash-attn yang disesuaikan per-perangkat untuk Metal

Proyek llama.cpp merilis versi b10615, memperkenalkan operasi vektor flash-attention terkuantisasi (Q, NE) yang disesuaikan per-perangkat untuk backend Metal.

media Hugging Face Forums · 11 jam lalu · 1 tayangan

GGUF terpadu dan fork llama.cpp mengaktifkan audio dan video untuk Nemotron-3-Nano-Omni

Penulis menangani kegagalan diam pada versi GGUF populer dari Nemotron-3-Nano-Omni-30B, di mana input audio dan video diabaikan karena file projector yang tidak lengkap dan grafik inferensi yang hilang. Untuk memperbaikinya, file mmproj terpadu yang berisi menara visi, encoder audio Parakeet/FastConformer penuh, dan penanam video temporal telah dirilis bersama fork llama.cpp khusus.

media Hugging Face Forums · 12 jam lalu · 1 tayangan

Nemotron 3.5 Lightning Omni zero-shot menambahkan visi dan audio melalui kecocokan geometri

Penulis telah membuat Nemotron 3.5 Lightning-Omni dengan menempelkan projector pra-latihan dari NVIDIA’s Nemotron-3-Nano-Omni ke model teks-saja Nemotron 3.5 Lightning, memungkinkan pemahaman gambar dan audio tanpa pelatihan tambahan.

github llama.cpp · 12 jam lalu · 1 tayangan

llama.cpp b10614 menambahkan pemisahan sumber per-op Metal dan kompilasi paralel

Rilis llama.cpp b10614 memperkenalkan perubahan arsitektur signifikan pada backend Metal dengan memisahkan sumber operasi dan mengaktifkan kompilasi paralel. Pembaruan ini juga mencakup beberapa implementasi kernel baru dan dukungan untuk format kuantisasi tambahan.