github llama.cpp · 1 jam lalu · inference

ggml-openvino diperbarui ke 2026.4.1 dengan penggabungan MoE dan perbaikan daftar perangkat

Diterjemahkan dari English → Bahasa Indonesia

Backend ggml-openvino untuk llama.cpp telah diperbarui ke versi 2026.4.1, memperkenalkan optimasi kinerja, dukungan operator yang lebih luas, dan peningkatan enumerasi perangkat.

Penggabungan perutean Mixture-of-Experts (MoE) dan normalisasi GDN QK, dengan penggabungan GPU MoE diaktifkan secara default.
Dukungan untuk bobot gate-up terintegrasi pada model seperti gemma-4, meningkatkan throughput prefill dari 66.16 menjadi 1608.73 t/s pada Arc B390.
Perbaikan penanganan sumbu rank-3 dalam eksekusi stateful, mengatasi penghentian pembangunan grafik untuk model MoE.
Implementasi enumerasi perangkat dan pelaporan memori yang sesuai dengan PRD, memastikan pembedaan GPU/IGPU yang akurat.
Penambahan opsi k-requant q4_asym64 dan mode cache_only untuk mengimpor model yang telah dikompilasi langsung dari disk.

Perubahan ini meningkatkan kinerja inferensi untuk arsitektur MoE dan memberikan deteksi serta konfigurasi perangkat keras yang lebih andal bagi pengguna OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11375 memperbaiki penghentian realokasi graf di bawah GGML_SCHED_NO_REALLOC

Proyek llama.cpp merilis build b11375, yang menangani masalah kritis di mana sel ubatch non-kontigu memaksa realokasi graf yang akan dihentikan ketika flag GGML_SCHED_NO_REALLOC disetel.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b11372 memangkas memori indexer qwen4exp menjadi setengah dan menambahkan dukungan CUDA 4-head

Rilis llama.cpp b11372 memperkenalkan optimisasi untuk indexer lightning model qwen4exp, terutama dengan memangkas memori yang diperlukan untuk skor indexer selama pemrosesan konteks panjang. Hal ini dicapai dengan menghitung skor head secara in-place daripada membuat tensor terpisah untuk setiap head.

github llama.cpp · 8 jam lalu · 2 tayangan

llama.cpp b11370 menggabungkan ahli bersama ke MMVQ

Proyek llama.cpp telah merilis build b11370, yang mencakup optimasi CUDA untuk menggabungkan ahli bersama ke dalam arsitektur Mixture of MoE dengan Kuantisasi Vektor (MMVQ). Perubahan ini merupakan bagian dari pull request #29184 dan juga menangani pemeriksaan buffer null serta penanganan argumen untuk stride_col_dst.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b11368 menambahkan sampling probabilistik untuk draf sederhana dan MTP

Proyek llama.cpp merilis build b11368, yang memperkenalkan sampling probabilistik untuk alur kerja draf sederhana dan MTP (Multi-Token Prediction). Pembaruan ini memodifikasi mekanisme drafting untuk menggunakan seleksi probabilistik sambil memverifikasi target melalui sampling penolakan.

github llama.cpp · 14 jam lalu · 1 tayangan

llama.cpp b11362 menambahkan kernel flash attention API tensor untuk KV F16

Proyek llama.cpp merilis build b11362, yang memperkenalkan kernel flash attention API tensor baru yang mendukung penyimpanan kunci-nilai (KV) F16. Pembaruan ini tersedia di platform macOS, Linux, Windows, Android, dan iOS dengan berbagai opsi backend termasuk CUDA, Vulkan, dan ROCm.