github llama.cpp · 1 jam lalu · inference

llama.cpp b10519 melakukan refaktor penanganan tidur untuk mengizinkan akses metrik

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10519, yang mencakup refaktor signifikan pada mekanisme penanganan tidur server. Perubahan ini memungkinkan endpoint /metrics tetap dapat diakses saat server berada dalam keadaan tidur.

Melakukan refaktor logika on_sleeping_state dan memisahkan tugas/hasil metrik dan slot.
Menambahkan respons ter-cache dan memperbaiki kondisi balapan pada timer tugas metrik.
Memperbaiki get_res_model_info dan memperbarui dokumentasi.
Menyediakan biner untuk macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, ROCm), Android, dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10517 menambahkan optimasi dequantisasi FA untuk Vulkan dan perbaikan

Proyek llama.cpp merilis build b10517, memperkenalkan beberapa peningkatan khusus Vulkan pada jalur dequantisasi flash attention (FA). Perubahan utama termasuk melakukan dequantisasi q8_0 KV sekali di coopmat1, melewati jalur dequantisasi FA pada coopmat2, dan mengecualikan Intel Xe1 dari jalur dequantisasi FA.

media r/LocalLLaMA · 9 jam lalu · 2 tayangan

Model MoE G9v3-39A5B menunjukkan hasil kuat di artificialanalysis

Model G9v3-39A5B menarik perhatian karena performanya di artificialanalysis, di mana dilaporkan berada di atas Qwen 3.6 27B.

media Hugging Face Forums · 9 jam lalu · 1 tayangan

Pipeline Celestium memungkinkan SDXL pada GPU 4GB-8GB melalui FP16 adaptif dan fallback CPU

Sebuah diagnostik menggunakan pipeline inferensi agnostik-hardware dari Celestium menunjukkan bahwa Stable Diffusion XL dapat berjalan stabil pada GPU dengan VRAM rendah (4GB, 6GB, dan 8GB) dengan memanfaatkan presisi FP16 adaptif dan pembersihan memori otomatis. Pendekatan ini mencegah lonjakan fragmentasi selama pipeline multi-tahap dan menggunakan mode CPU darurat untuk mempertahankan generasi ketika VRAM GPU habis.

github llama.cpp · 19 jam lalu · 1 tayangan

llama.cpp b10505 menambahkan opsi preset dedup-cache-models

Proyek llama.cpp telah merilis versi b10505, yang memperkenalkan opsi preset `dedup-cache-models` baru untuk komponen server.

media Hugging Face Forums · 2 hari lalu · 3 tayangan

Kuantisasi Cache KV Magnitudo Fourier menggandakan panjang konteks dengan memori yang sama

ntrillard menunjukkan bahwa mengkuantisasi spektrum magnitudo Fourier dari nilai cache K dan V ke 4-bit sambil mempertahankan fase pada presisi penuh mencapai pencocokan token sebesar 96,9% dengan referensi fp16 pada Gemma-3-1B, peningkatan 5-10 kali lipat dibandingkan kuantisasi min-max standar.