github llama.cpp · 1 jam lalu · inference

llama.cpp 0.3.0 menambahkan model dots3-note dan tensor-split untuk DeepSeek 4

Diterjemahkan dari English → Bahasa Indonesia

llama.cpp 0.3.0 memperkenalkan dukungan untuk model multimodal dots3-note dengan jenis cache KV DSA-ISWA baru, serta dukungan prediksi multi-token (MTP) untuk GLM-4.5-Air. Rilis ini juga menambahkan kemampuan tensor-split untuk DeepSeek 4 dan memperbaiki masalah rollback multi-sekuens.

ggml ditingkatkan ke v0.22.0, menambahkan dukungan tensor-split ke meta-backend dan kernel Metal per-op dengan kompilasi paralel.
mtmd mendapatkan dukungan visi/audio dots3-note, dekoding WebP melalui ffmpeg, dan algoritma resize yang akurat seperti Pillow.
DeepSeek 4 menerima mode tensor-split melalui flag `-sm tensor` serta perbaikan untuk rollback dengan beberapa sekuens.
Server menambahkan tombol debug `LLAMA_SERVER_SLOTS_N_DIFF`, sementara antarmuka web mendapatkan navigasi obrolan berbasis tab.

Pembaruan ini memperluas kemampuan multimodal llama.cpp dan meningkatkan kinerja serta stabilitas untuk arsitektur model tertentu seperti DeepSeek 4 dan GLM-4.5-Air.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Multimodal

Baca aslinya

OvisOCR2 memimpin OmniDocBench sebagai model parsing dokumen end-to-end pertama

ATH-MaaS merilis OvisOCR2, sebuah model visi-bahasa 0.8B yang dipost-training dari Qwen3.5-0.8B, yang menjadi model end-to-end pertama yang memimpin papan peringkat OmniDocBench dengan skor 96.58 pada v1.6.

lab Hugging Face Blog · baru saja · 1 tayangan Langsung

Papers with Code menggunakan layanan Hugging Face untuk pencarian paper hibrida

Papers with Code telah mengimplementasikan sistem pencarian hibrida yang menggabungkan pengambilan berbasis kata kunci dan semantik untuk membantu pengguna menemukan makalah penelitian AI yang relevan. Arsitektur ini memanfaatkan Hugging Face Jobs, Storage Buckets, dan Inference Endpoints untuk mengelola pipa embedding dan melayani kueri dengan latensi rendah.

media Hugging Face Forums · 13 jam lalu · 2 tayangan

GGUF NVIDIA Nemotron-3-Omni dengan dukungan audio + video yang berfungsi di llama.cpp (9 kuantisasi teruji, pemrosesan A/V satu tahap)

Seorang pengembang telah merilis paket GGUF lengkap untuk model NVIDIA Nemotron-3-Nano-Omni-30B, menambahkan dukungan audio dan video sebelumnya yang hilang ke ekosistem llama.cpp. Rilis ini mencakup sembilan kuantisasi mulai dari Q3_K_M hingga BF16 serta file proyektor terpadu yang menggabungkan encoder visi C-RADIO dan encoder audio Parakeet.

github llama.cpp · 13 jam lalu · 1 tayangan

llama.cpp b10615 menambahkan vec flash-attn yang disesuaikan per-perangkat untuk Metal

Proyek llama.cpp merilis versi b10615, memperkenalkan operasi vektor flash-attention terkuantisasi (Q, NE) yang disesuaikan per-perangkat untuk backend Metal.

media Hugging Face Forums · 14 jam lalu · 1 tayangan

GGUF terpadu dan fork llama.cpp mengaktifkan audio dan video untuk Nemotron-3-Nano-Omni

Penulis menangani kegagalan diam pada versi GGUF populer dari Nemotron-3-Nano-Omni-30B, di mana input audio dan video diabaikan karena file projector yang tidak lengkap dan grafik inferensi yang hilang. Untuk memperbaikinya, file mmproj terpadu yang berisi menara visi, encoder audio Parakeet/FastConformer penuh, dan penanam video temporal telah dirilis bersama fork llama.cpp khusus.