github llama.cpp · 2 jam lalu · inference

llama.cpp 0.4.0 menambahkan dukungan untuk Qwen3.8-Flash-Next dan Nemotron-3-Puzzle

Diterjemahkan dari English → Bahasa Indonesia

llama.cpp versi 0.4.0 memperkenalkan dukungan arsitektur awal untuk model Qwen3.8-Flash-Next dan NVIDIA Nemotron-3-Puzzle-75B-A9B, bersamaan dengan peningkatan pustaka ggml mendasar ke versi 0.23.0.

Menambahkan pembacaan tensor malas sesuai permintaan dan batas konteks server per slot.
Memperbarui ggml ke 0.23.0 dengan perhatian flash jarang dan dukungan transportasi Apple RDMA.
Memperkenalkan opsi input video, pencarian riwayat n-gram, dan batas RAM untuk kuantizer.
Mengaktifkan `preserve_reasoning` secara default di server dan meningkatkan helper tokenisasi multimodal.

Perubahan ini memperluas kompatibilitas model dan memberikan pengembang kontrol yang lebih halus atas penggunaan memori dan alokasi sumber daya server.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Multimodal

Baca aslinya

llama.cpp 0.3.0 menambahkan model dots3-note dan tensor-split untuk DeepSeek 4

llama.cpp 0.3.0 memperkenalkan dukungan untuk model multimodal dots3-note dengan jenis cache KV DSA-ISWA baru, serta dukungan prediksi multi-token (MTP) untuk GLM-4.5-Air. Rilis ini juga menambahkan kemampuan tensor-split untuk DeepSeek 4 dan memperbaiki masalah rollback multi-sekuens.

media r/LocalLLaMA · 51 hari lalu · 17 tayangan

OvisOCR2 memimpin OmniDocBench sebagai model parsing dokumen end-to-end pertama

ATH-MaaS merilis OvisOCR2, sebuah model visi-bahasa 0.8B yang dipost-training dari Qwen3.5-0.8B, yang menjadi model end-to-end pertama yang memimpin papan peringkat OmniDocBench dengan skor 96.58 pada v1.6.

github llama.cpp · 18 jam lalu · 1 tayangan

llama.cpp b10795 menggabungkan operasi SYCL

Proyek llama.cpp merilis versi b10795, yang mencakup optimasi baru untuk backend SYCL. Pembaruan ini mengaktifkan penggabungan rantai RMS_NORM+MUL+ADD dan ADD+ADD residual di bawah flag GGML_SYCL_ENABLE_FUSION.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

media r/LocalLLaMA · 1 hari lalu · 4 tayangan

IFM merilis K2-Horizon-MoVA-36B-A4B, model MoE jarang dengan 4B parameter aktif

IFM telah merilis checkpoint akhir untuk K2-Horizon-MoVA-36B-A4B, sebuah model Mixture-of-Experts yang menampilkan perhatian Mixture-of-Values yang menyimpan 36B parameter tetapi menjalankan hanya 4B per token. Rilis ini mencakup format GGUF dan tautan ke varian lebih kecil dalam keluarga K2-Horizon.