github llama.cpp · 3 jam lalu · inference

llama.cpp b10076 memvektorkan get_rows dengan salinan int4 untuk percepatan 27%

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10076, yang memperkenalkan optimasi kinerja pada backend CUDA dengan memvektorkan operasi `get_rows` menggunakan salinan int4. Perubahan ini mengangkat pekerjaan invarian baris keluar dari loop per-elemen dan menambahkan jalur tervektorisasi yang menyalin 16 byte per thread untuk data kontigu tipe yang sama.

Implementasi ini digating pada waktu kompilasi dan runtime, memerlukan penjajaran 16 byte dan kondisi stride tertentu untuk memastikan kebenaran. Sebuah gate okupansi mencegah regresi pada pengumpulan baris tunggal kecil dengan menjaganya pada jalur skalar. Pada Strix Halo (gfx1151), optimasi ini mengurangi latensi pengumpulan keadaan rekuren DeltaNet dari 18,6us menjadi 13,0us.

Rilis ini mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL, dan OpenCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

zhongkaifu merilis TensorSharp, mesin inferensi LLM asli .NET untuk model GGUF

zhongkaifu telah merilis TensorSharp, mesin inferensi LLM lokal sumber terbuka yang dibangun sepenuhnya dalam C# dan mendukung Windows, macOS, serta Linux. Mesin ini menangani model GGUF dari Unsloth, termasuk Gemma 4 dan Qwen 3.6 dengan kemampuan multimodal, sambil menyediakan API yang kompatibel dengan OpenAI dan Ollama.

media Hugging Face Forums · 1 hari lalu · 1 tayangan

Agen suara produksi dengan LLM lokal menghadapi latensi persisten dan batas konteks

Sebuah tim yang menjalankan dua agen suara produksi di Spanyol menggunakan Retell AI, Ollama, dan model lokal pada RTX 4000 Ada melaporkan bahwa meskipun kualitas percakapan membaik, masalah latensi inti tetap belum terpecahkan. Kendala utamanya adalah batas waktu (timeout) sekitar 3 detik dari Retell AI; jika LLM gagal menghasilkan token pertama dalam jendela ini, koneksi akan terputus, menyebabkan panggilan berakhir setelah dua kali reconnect.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10069 menambahkan dukungan broadcast OpenCL untuk Adreno MUL_MAT

Proyek llama.cpp merilis build b10069, yang mencakup pembaruan OpenCL spesifik untuk GPU Qualcomm Adreno. Perubahan utama melibatkan dukungan operasi broadcast untuk kernel Adreno MUL_MAT dan menghormati offset tampilan untuk varian Q8_0 MUL_MAT untuk mengaktifkan fungsionalitas multi-stream di llama-server.

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp b10068 memutar cache K/V yang disuntikkan untuk DFlash

Proyek llama.cpp merilis versi b10068, yang memperkenalkan perubahan pada implementasi model DFlash. Pembaruan ini memodifikasi src/models/dflash.cpp untuk memutar cache kunci/nilai (K/V) yang disuntikkan ketika kuantisasi K/V digunakan.

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp b10067 mengecualikan tabel perutean DeepSeek-V4 dari kuantisasi

Proyek llama.cpp merilis versi b10067, yang mencakup perbaikan untuk alat `llama-quantize` agar dapat menangani model DeepSeek-V4 dengan benar. Pembaruan ini mencegah kuantizer mencoba mengonversi tensor `ffn_gate_tid2eid`, sebuah tabel indeks token-to-expert i32, ke tipe float.