github llama.cpp · 2 jam lalu · inference

llama.cpp b10078 merestrukturisasi penanganan antrian Vulkan untuk melewati mutex sisi host

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10078, yang mencakup restrukturisasi signifikan pada backend Vulkan untuk meningkatkan efisiensi sinkronisasi. Pembaruan ini mengintegrasikan dukungan untuk VK_KHR_internally_synchronized_queues, memungkinkan pustaka mengabstraksi pengiriman antrian ke dalam antarmuka polimorfik yang sepenuhnya melewati penguncian mutex sisi host ketika driver mendukungnya.

Merestrukturisasi vk_queue untuk menggunakan mutex per-instances dan handle unik untuk kepemilikan eksklusif.
Mengintegrasikan VK_KHR_internally_synchronized_queues untuk melewati penguncian mutex sisi host ketika didukung oleh driver.
Menambahkan definisi fallback dan konstanta static constexpr untuk deteksi internallySynchronizedQueues.
Memperbaiki kesalahan kompilasi, rantai pNext duplikat, dan pemeriksaan null dalam destructor vk_device_struct.

Perubahan ini mengoptimalkan manajemen siklus hidup dan keamanan thread sambil mengurangi panggilan API redundan selama pembuatan perangkat.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10076 memvektorkan get_rows dengan salinan int4 untuk percepatan 27%

Proyek llama.cpp merilis build b10076, yang memperkenalkan optimasi kinerja pada backend CUDA dengan memvektorkan operasi `get_rows` menggunakan salinan int4. Perubahan ini mengangkat pekerjaan invarian baris keluar dari loop per-elemen dan menambahkan jalur tervektorisasi yang menyalin 16 byte per thread untuk data kontigu tipe yang sama.

media Hugging Face Forums · 2 hari lalu · 1 tayangan

Agen suara produksi dengan LLM lokal menghadapi latensi persisten dan batas konteks

Sebuah tim yang menjalankan dua agen suara produksi di Spanyol menggunakan Retell AI, Ollama, dan model lokal pada RTX 4000 Ada melaporkan bahwa meskipun kualitas percakapan membaik, masalah latensi inti tetap belum terpecahkan. Kendala utamanya adalah batas waktu (timeout) sekitar 3 detik dari Retell AI; jika LLM gagal menghasilkan token pertama dalam jendela ini, koneksi akan terputus, menyebabkan panggilan berakhir setelah dua kali reconnect.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10069 menambahkan dukungan broadcast OpenCL untuk Adreno MUL_MAT

Proyek llama.cpp merilis build b10069, yang mencakup pembaruan OpenCL spesifik untuk GPU Qualcomm Adreno. Perubahan utama melibatkan dukungan operasi broadcast untuk kernel Adreno MUL_MAT dan menghormati offset tampilan untuk varian Q8_0 MUL_MAT untuk mengaktifkan fungsionalitas multi-stream di llama-server.

media Hugging Face Forums · 3 hari lalu · 2 tayangan

zhongkaifu merilis TensorSharp, mesin inferensi LLM asli .NET untuk model GGUF

zhongkaifu telah merilis TensorSharp, mesin inferensi LLM lokal sumber terbuka yang dibangun sepenuhnya dalam C# dan mendukung Windows, macOS, serta Linux. Mesin ini menangani model GGUF dari Unsloth, termasuk Gemma 4 dan Qwen 3.6 dengan kemampuan multimodal, sambil menyediakan API yang kompatibel dengan OpenAI dan Ollama.

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp b10068 memutar cache K/V yang disuntikkan untuk DFlash

Proyek llama.cpp merilis versi b10068, yang memperkenalkan perubahan pada implementasi model DFlash. Pembaruan ini memodifikasi src/models/dflash.cpp untuk memutar cache kunci/nilai (K/V) yang disuntikkan ketika kuantisasi K/V digunakan.