github llama.cpp · 1 jam lalu · inference

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.

Menambahkan dukungan k-quant (q2_K hingga q6_K) untuk menangani resep GGUF umum seperti Q4_K_M.
Memperluas dequantizer super-blok bersama ke sembilan i-quants dengan tata letak 32 utas.
Memindahkan dequantizer mxfp4 ke pembantu bersama, menutup cakupan jenis GET_ROWS di CUDA.
Mengatur gerbang pemeriksaan ukuran baris hanya untuk jenis sub-blok 32 nilai (iq4_nl dan mxfp4) untuk mencegah fallback host yang tidak perlu.

Dengan mencegah scheduler kembali ke host untuk jenis kuantisasi ini, pembaruan menghindari menyalin seluruh matriks embedding kembali pada setiap token dalam grafik perangkat tunggal.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b10085 memperbaiki grounding Qwen3-VL dengan menyelaraskan interpolasi embedding posisi

Proyek llama.cpp merilis build b10085, yang mencakup perbaikan untuk interpolasi embedding posisi model visi Qwen3-VL guna menyelesaikan ketidaksesuaian koordinat grounding.

github llama.cpp · 1 hari lalu

llama.cpp b10076 memvektorkan get_rows dengan salinan int4 untuk percepatan 27%

Proyek llama.cpp merilis build b10076, yang memperkenalkan optimasi kinerja pada backend CUDA dengan memvektorkan operasi `get_rows` menggunakan salinan int4. Perubahan ini mengangkat pekerjaan invarian baris keluar dari loop per-elemen dan menambahkan jalur tervektorisasi yang menyalin 16 byte per thread untuk data kontigu tipe yang sama.

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp b10069 menambahkan dukungan broadcast OpenCL untuk Adreno MUL_MAT

Proyek llama.cpp merilis build b10069, yang mencakup pembaruan OpenCL spesifik untuk GPU Qualcomm Adreno. Perubahan utama melibatkan dukungan operasi broadcast untuk kernel Adreno MUL_MAT dan menghormati offset tampilan untuk varian Q8_0 MUL_MAT untuk mengaktifkan fungsionalitas multi-stream di llama-server.

media Hugging Face Forums · 4 hari lalu · 2 tayangan

zhongkaifu merilis TensorSharp, mesin inferensi LLM asli .NET untuk model GGUF

zhongkaifu telah merilis TensorSharp, mesin inferensi LLM lokal sumber terbuka yang dibangun sepenuhnya dalam C# dan mendukung Windows, macOS, serta Linux. Mesin ini menangani model GGUF dari Unsloth, termasuk Gemma 4 dan Qwen 3.6 dengan kemampuan multimodal, sambil menyediakan API yang kompatibel dengan OpenAI dan Ollama.

github llama.cpp · 4 hari lalu · 1 tayangan

llama.cpp b10068 memutar cache K/V yang disuntikkan untuk DFlash

Proyek llama.cpp merilis versi b10068, yang memperkenalkan perubahan pada implementasi model DFlash. Pembaruan ini memodifikasi src/models/dflash.cpp untuk memutar cache kunci/nilai (K/V) yang disuntikkan ketika kuantisasi K/V digunakan.