github llama.cpp · baru saja · inference

llama.cpp b10738 menambahkan batas memori host-pinned untuk SYCL

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10738, menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan berbagai backend akselerator.

Rilis ini mencakup pembaruan spesifik untuk dukungan SYCL yang membatasi memori alokasi maksimum menjadi 2GB untuk memori host-pinned.
Build macOS Apple Silicon dengan KleidiAI dinonaktifkan dalam versi ini.
Dukungan preview untuk CUDA 13 di Windows arm64 disertakan.
Biner ROCm 7.14 dan OpenVINO 2026.3.1 tersedia untuk Ubuntu dan Windows.

Pembaruan ini memungkinkan pengguna mengakses fungsionalitas terbaru llama.cpp pada perangkat keras yang didukung, dengan perhatian khusus pada batasan memori dalam implementasi SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

Hugging Face merilis 207 kernel WebGPU dan alat benchmarking browser

Hugging Face telah merilis @huggingface/kernels, sebuah pustaka untuk memuat dan menjalankan kernel WebGPU yang dioptimalkan dari Hugging Face Hub, bersama dengan koleksi awal berisi 207 kernel. Rilis ini juga memperkenalkan Fleet, sebuah suite benchmark GPU di browser yang mengumpulkan bukti kinerja dan kebenaran dari perangkat pengguna.

github llama.cpp · 2 jam lalu · 11 tayangan

llama.cpp b10737 memperbaiki penyimpanan/pemulihan status qwen4exp dan menonaktifkan tensor -sm

Proyek llama.cpp merilis build b10737, yang mengatasi bug kritis dalam dukungan arsitektur qwen4exp. Pembaruan ini menyelesaikan masalah persistensi status urutan dan mencegah penghentian CUDA selama pemuatan model.

github llama.cpp · 11 jam lalu · 2 tayangan

llama.cpp b10730 mengoptimalkan pemrosesan prompt Qwen4exp dengan menjumlahkan kepala indexer berdasarkan irisan

Proyek llama.cpp merilis build b10730, yang mencakup optimasi untuk arsitektur model Qwen4exp. Perubahan utama melibatkan penjumlahan kepala indexer berdasarkan irisan alih-alih menggunakan operasi transpose dan sum_rows, sehingga mengurangi overhead salinan memori.

github llama.cpp · 19 jam lalu · 3 tayangan

llama.cpp b10727 menambahkan dukungan penggabungan untuk tipe terkuantisasi

Proyek llama.cpp telah merilis build b10727, yang memperkenalkan dukungan penggabungan untuk tipe data terkuantisasi. Pembaruan ini dibantu oleh DeepSeek-V4-Flash-0731 dan mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, dan Vulkan.

github llama.cpp · 21 jam lalu · 6 tayangan

llama.cpp b10726 mempercepat pemrosesan prompt model IQ batch besar dengan AVX2

Proyek llama.cpp merilis versi b10726, yang memperkenalkan optimasi kinerja signifikan untuk memproses ukuran batch besar dalam model terkuantisasi IQ. Pembaruan utama memanfaatkan instruksi AVX2 untuk mempercepat kuantisasi IQ grid melalui operasi GEMM batch.