github llama.cpp · 11 hari lalu · inference

Perbaikan pengindeks DSA GLM-5.2: tensor ditandai tidak diperlukan

Diterjemahkan dari English → Bahasa Indonesia

Pengindeks DSA model GLM-5.2 dimuat secara salah pada semua lapisan, menyebabkan kegagalan karena tensor yang hilang. Pembaruan menandai tensor pengindeks sebagai TENSOR_NOT_REQUIRED, memungkinkan lapisan tanpa pengindeks untuk dimuat sebagai nullptr dan mengaktifkan perhatian MLA penuh. DeepSeek-V3.2, dengan pengindeksan seragam, tidak terpengaruh.

Kepentingan 1/3 Kepercayaan 2/3 llama.cpp Code generation Hardware & chips Inference efficiency

Baca aslinya