github llama.cpp · 1 jam lalu · inference

llama.cpp b10210 memperbaiki token yang diterima selama replikasi token draf

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10210, yang mencakup koreksi pada logika server untuk menangani token yang diterima ketika replikasi token draf diperlukan.

Memperbaiki token yang diterima di komponen server ketika replikasi token draf diperlukan.
Menyediakan binaris pra-bangun untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64/arm64/s390x with CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.
Termasuk paket rilis UI.

Pembaruan ini memastikan penanganan token yang akurat dalam skenario decoding spekulatif di semua platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10212 memuat tensor MTP hanya saat digunakan

Proyek llama.cpp merilis versi b10212, yang mencakup perubahan untuk memuat tensor Multi-Token Prediction (MTP) hanya jika benar-benar digunakan. Pembaruan ini memastikan bahwa tensor MTP dilewati selama pemuatan pada model-model lain yang mendukung fitur tersebut tetapi tidak membutuhkannya.

github llama.cpp · 2 jam lalu

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

Rilis llama.cpp b10208 memperkenalkan dukungan SYCL untuk oneMKL GEMM flash attention, memungkinkan akselerasi perangkat keras XMX untuk pemrosesan prompt. Perubahan ini secara signifikan meningkatkan kecepatan inferensi pada GPU Intel Arc dengan memanfaatkan kernel MKL alih-alih jalur TILE default.

github llama.cpp · 4 jam lalu

llama.cpp b10212 memuat tensor MTP hanya saat digunakan

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

llama.cpp b10207 menambahkan dukungan SYCL untuk tipe yang hilang di cpy

llama.cpp b10206 menerapkan jenis cache K dan V yang sama untuk model DeepSeek V4 dan MLA

Rilis llama.cpp b10202 dengan fusi SYCL RMS_NORM