github llama.cpp · 1 jam lalu · inference

llama.cpp b10201 meningkatkan flash attention untuk KV terkuantisasi pada konteks panjang

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10201, yang mencakup peningkatan kunci pada backend ggml-webgpu. Pembaruan ini meningkatkan kinerja flash attention saat menangani cache kunci-nilai terkuantisasi selama generasi konteks panjang.

Pemrosesan vektor flash attention yang lebih baik untuk cache KV terkuantisasi di ggml-webgpu.
Memperbaiki bug terkait pemeriksaan tipe nilai dan memperbarui komentar.
Menyelesaikan kesalahan build yang disebabkan oleh rebasing.
Menyediakan biner untuk macOS (Apple Silicon, Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL), dan openEuler.

Rilis ini memungkinkan pengguna menjalankan llama.cpp di berbagai platform perangkat keras sambil mendapatkan manfaat dari mekanisme perhatian yang dioptimalkan untuk urutan yang lebih panjang.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

Rilis llama.cpp b10202 dengan fusi SYCL RMS_NORM

Proyek llama.cpp telah merilis versi b10202, memperkenalkan optimasi SYCL yang menyatukan operasi RMS_NORM dan MUL.

github llama.cpp · 16 jam lalu · 1 tayangan

llama.cpp b10198 menambahkan dukungan Vulkan untuk concat kuantisasi

Proyek llama.cpp telah merilis build b10198, yang memperkenalkan dukungan untuk operasi concatenasi kuantisasi di dalam backend Vulkan.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10180 menambahkan jalur cepat kontigu dan matematika indeks 32-bit untuk operasi unair SYCL

Proyek llama.cpp telah merilis build b10180, memperkenalkan optimasi kinerja untuk backend SYCL. Pembaruan ini mengimplementasikan jalur cepat kontigu dan mengalihkan matematika indeks elemen per elemen untuk menggunakan fastdiv dengan bilangan bulat 32-bit.

github llama.cpp · 4 hari lalu · 3 tayangan

llama.cpp b10155 menambahkan dukungan audio MiMo-V2.5

Proyek llama.cpp telah merilis build b10155, yang memperkenalkan dukungan untuk model input audio MiMo-V2.5. Pembaruan ini mencakup konverter GGUF untuk audio MiMo dan mengimplementasikan logika backend C++ yang diperlukan untuk menangani model audio berbasis RVQ.

github llama.cpp · 4 hari lalu · 2 tayangan

llama.cpp b10150 menyesuaikan logika pengalihan ggml dan memperbaiki grafik dsv4

Proyek llama.cpp telah merilis build b10150, yang mencakup penyesuaian pada logika ggml untuk operasi pengalihan ke backend berat. Pembaruan ini juga menangani perbaikan untuk grafik llama dsv4.