github llama.cpp · 2 jam lalu · inference

llama.cpp b10728 menambahkan flash attention XOR swizzle CUDA dan memperbaiki race memory bersama

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10728 memperkenalkan implementasi CUDA untuk XOR swizzle pada tile fp16 memori bersama K,V Flash Attention. Pembaruan ini juga menyelesaikan kondisi race pada memori bersama Flash Attention di perangkat keras DGX Spark.

Mengimplementasikan flash attention dengan XOR swizzle dan tile fp16 untuk CUDA.
Memperbaiki penggunaan pointer generik 64-bit alih-alih pointer bersama 32-bit.
Menambahkan kasus uji swizzle dan membatasi sinkronisasi hanya untuk jalur swizzled.
Memungkinkan swizzling untuk bentuk non-pangkat-2 di mana nbatch_2%32==0.
Merestrukturisasi logika ldmatrix swizzle Flash Attention menjadi fungsi pembantu.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, CUDA, Vulkan, ROCm, OpenVINO, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Microsoft merilis GigaPath-Flash dan GigaTIME-Flash untuk model dasar patologi yang efisien

Microsoft Research telah merilis GigaPath-Flash dan GigaTIME-Flash, varian efisien dari model dasar patologi mereka yang dirancang untuk memungkinkan penemuan skala populasi dengan secara drastis mengurangi kebutuhan komputasi.

github llama.cpp · 3 jam lalu · 3 tayangan

llama.cpp b10727 menambahkan dukungan penggabungan untuk tipe terkuantisasi

Proyek llama.cpp telah merilis build b10727, yang memperkenalkan dukungan penggabungan untuk tipe data terkuantisasi. Pembaruan ini dibantu oleh DeepSeek-V4-Flash-0731 dan mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, dan Vulkan.

github llama.cpp · 5 jam lalu · 6 tayangan

llama.cpp b10726 mempercepat pemrosesan prompt model IQ batch besar dengan AVX2

Proyek llama.cpp merilis versi b10726, yang memperkenalkan optimasi kinerja signifikan untuk memproses ukuran batch besar dalam model terkuantisasi IQ. Pembaruan utama memanfaatkan instruksi AVX2 untuk mempercepat kuantisasi IQ grid melalui operasi GEMM batch.

github llama.cpp · 6 jam lalu · 2 tayangan

llama.cpp b10724 mengoptimalkan pemulihan keadaan kv-cache untuk mengurangi jumlah salinan dari 1.3M menjadi 224

Proyek llama.cpp merilis build b10724, yang secara signifikan meningkatkan kinerja pemulihan sel KV cache non-kontigu dengan melakukan batching bacaan scatter per jalankanan kontinu.

github llama.cpp · 7 jam lalu · 5 tayangan

llama.cpp b10723 menyesuaikan jalur kuantisasi OpenCL untuk GPU Intel Xe-LP

Proyek llama.cpp merilis versi b10723, yang mencakup optimasi spesifik untuk OpenCL pada perangkat keras grafis Intel Xe-LP. Pembaruan ini berfokus pada peningkatan kinerja generasi tensor (TG) dan praisi (PP) dengan menyesuaikan kernel kuantisasi.