github llama.cpp · 1 jam lalu · inference

llama.cpp b11390 memperbaiki kesalahan memori CUDA MMQ

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11390, yang mencakup perbaikan untuk kesalahan memori CUDA MMQ yang terjadi ketika jumlah ahli secara signifikan lebih besar dari ukuran mikro-batch.

Menyelesaikan kesalahan memori di backend CUDA terkait penanganan Mixture-of-Experts (MMQ).
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, dan openEuler.
Termasuk build UI yang diperbarui.

Pembaruan ini memastikan stabilitas bagi pengguna yang menjalankan model Mixture-of-Experts pada perangkat keras CUDA dengan mencegah kesalahan akses memori spesifik tersebut.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11375 memperbaiki penghentian realokasi graf di bawah GGML_SCHED_NO_REALLOC

Proyek llama.cpp merilis build b11375, yang menangani masalah kritis di mana sel ubatch non-kontigu memaksa realokasi graf yang akan dihentikan ketika flag GGML_SCHED_NO_REALLOC disetel.

github llama.cpp · 1 hari lalu · 15 tayangan

llama.cpp b11372 memangkas memori indexer qwen4exp menjadi setengah dan menambahkan dukungan CUDA 4-head

Rilis llama.cpp b11372 memperkenalkan optimisasi untuk indexer lightning model qwen4exp, terutama dengan memangkas memori yang diperlukan untuk skor indexer selama pemrosesan konteks panjang. Hal ini dicapai dengan menghitung skor head secara in-place daripada membuat tensor terpisah untuk setiap head.

github llama.cpp · 1 hari lalu · 17 tayangan

llama.cpp b11368 menambahkan sampling probabilistik untuk draf sederhana dan MTP

Proyek llama.cpp merilis build b11368, yang memperkenalkan sampling probabilistik untuk alur kerja draf sederhana dan MTP (Multi-Token Prediction). Pembaruan ini memodifikasi mekanisme drafting untuk menggunakan seleksi probabilistik sambil memverifikasi target melalui sampling penolakan.

github llama.cpp · 2 hari lalu · 16 tayangan

llama.cpp b11362 menambahkan kernel flash attention API tensor untuk KV F16

Proyek llama.cpp merilis build b11362, yang memperkenalkan kernel flash attention API tensor baru yang mendukung penyimpanan kunci-nilai (KV) F16. Pembaruan ini tersedia di platform macOS, Linux, Windows, Android, dan iOS dengan berbagai opsi backend termasuk CUDA, Vulkan, dan ROCm.

github llama.cpp · 2 hari lalu · 16 tayangan

llama.cpp b11351 menambahkan alloc_buffer_n dan get_alloc_size_n ke antarmuka tipe buffer backend ggml

Proyek llama.cpp merilis build b11351, memperkenalkan metode baru ke antarmuka tipe buffer backend ggml. Pembaruan ini menambahkan `alloc_buffer_n` dan `get_alloc_size_n` untuk memungkinkan kontrol yang lebih granular atas alokasi buffer dan kueri ukuran.