github llama.cpp · 2 jam lalu · inference

llama.cpp b10737 memperbaiki penyimpanan/pemulihan status qwen4exp dan menonaktifkan tensor -sm

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10737, yang mengatasi bug kritis dalam dukungan arsitektur qwen4exp. Pembaruan ini menyelesaikan masalah persistensi status urutan dan mencegah penghentian CUDA selama pemuatan model.

Memperbaiki keruntuhan NaN kvu dan memulihkan data cache indexer ext.x/ext.y selama perjalanan bolak-balik penyimpanan/pemulihan untuk model qwen4exp.
Mengoreksi derivasi jumlah baris per_layer_token_embd dan menolak dereferensi pointer null pada lapisan cache rekursif PLE.
Menonaktifkan flag tensor -sm untuk qwen4exp, yang sebelumnya menyebabkan logits NaN dan crash pada perangkat nyata.
Mengubah nama seq_set menjadi seq_get_all untuk menyelesaikan konflik kelebihan beban fungsi dan menambahkan pengujian yang memverifikasi integritas status.

Perubahan ini memastikan bahwa model qwen4exp dapat dimuat dan disimpan tanpa korupsi data atau kesalahan runtime, terutama saat menggunakan konten mrope 2D atau lapisan PLE.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10738 menambahkan batas memori host-pinned untuk SYCL

Proyek llama.cpp telah merilis versi b10738, menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan berbagai backend akselerator.

lab Hugging Face Blog · baru saja · 1 tayangan Langsung

Hugging Face merilis 207 kernel WebGPU dan alat benchmarking browser

Hugging Face telah merilis @huggingface/kernels, sebuah pustaka untuk memuat dan menjalankan kernel WebGPU yang dioptimalkan dari Hugging Face Hub, bersama dengan koleksi awal berisi 207 kernel. Rilis ini juga memperkenalkan Fleet, sebuah suite benchmark GPU di browser yang mengumpulkan bukti kinerja dan kebenaran dari perangkat pengguna.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b10730 mengoptimalkan pemrosesan prompt Qwen4exp dengan menjumlahkan kepala indexer berdasarkan irisan

Proyek llama.cpp merilis build b10730, yang mencakup optimasi untuk arsitektur model Qwen4exp. Perubahan utama melibatkan penjumlahan kepala indexer berdasarkan irisan alih-alih menggunakan operasi transpose dan sum_rows, sehingga mengurangi overhead salinan memori.

github llama.cpp · 19 jam lalu · 3 tayangan

llama.cpp b10727 menambahkan dukungan penggabungan untuk tipe terkuantisasi

Proyek llama.cpp telah merilis build b10727, yang memperkenalkan dukungan penggabungan untuk tipe data terkuantisasi. Pembaruan ini dibantu oleh DeepSeek-V4-Flash-0731 dan mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, dan Vulkan.

github llama.cpp · 21 jam lalu · 6 tayangan

llama.cpp b10726 mempercepat pemrosesan prompt model IQ batch besar dengan AVX2

Proyek llama.cpp merilis versi b10726, yang memperkenalkan optimasi kinerja signifikan untuk memproses ukuran batch besar dalam model terkuantisasi IQ. Pembaruan utama memanfaatkan instruksi AVX2 untuk mempercepat kuantisasi IQ grid melalui operasi GEMM batch.