github llama.cpp · 1 jam lalu · inference

llama.cpp b10207 menambahkan dukungan SYCL untuk tipe yang hilang di cpy

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10207, yang mencakup pull request untuk menambahkan dukungan SYCL ke tipe data yang sebelumnya tidak didukung dalam operasi cpy.

Pembaruan ini menangani dukungan tipe yang hilang dalam fungsionalitas cpy melalui PR #26005.
Distribusi biner disediakan untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), Android, dan openEuler.
Dukungan macOS Apple Silicon dengan KleidiAI saat ini dinonaktifkan dalam rilis ini.

Rilis ini memperluas kompatibilitas perangkat keras llama.cpp dengan mengaktifkan eksekusi SYCL pada tipe data tambahan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10206 menerapkan jenis cache K dan V yang sama untuk model DeepSeek V4 dan MLA

Proyek llama.cpp telah merilis versi b10206, yang memperkenalkan perubahan spesifik pada penanganan cache kunci-nilai dalam mekanisme perhatian. Pembaruan ini memastikan bahwa jenis cache K dan V tetap konsisten untuk model DeepSeek V4.

github llama.cpp · 5 jam lalu

Rilis llama.cpp b10202 dengan fusi SYCL RMS_NORM

Proyek llama.cpp telah merilis versi b10202, memperkenalkan optimasi SYCL yang menyatukan operasi RMS_NORM dan MUL.

github llama.cpp · 7 jam lalu · 1 tayangan

llama.cpp b10201 meningkatkan flash attention untuk KV terkuantisasi pada konteks panjang

Proyek llama.cpp telah merilis versi b10201, yang mencakup peningkatan kunci pada backend ggml-webgpu. Pembaruan ini meningkatkan kinerja flash attention saat menangani cache kunci-nilai terkuantisasi selama generasi konteks panjang.

github llama.cpp · 21 jam lalu · 1 tayangan

llama.cpp b10198 menambahkan dukungan Vulkan untuk concat kuantisasi

Proyek llama.cpp telah merilis build b10198, yang memperkenalkan dukungan untuk operasi concatenasi kuantisasi di dalam backend Vulkan.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10180 menambahkan jalur cepat kontigu dan matematika indeks 32-bit untuk operasi unair SYCL

Proyek llama.cpp telah merilis build b10180, memperkenalkan optimasi kinerja untuk backend SYCL. Pembaruan ini mengimplementasikan jalur cepat kontigu dan mengalihkan matematika indeks elemen per elemen untuk menggunakan fastdiv dengan bilangan bulat 32-bit.