ggml-cpu 现在支持 Power10 Q8/Q4 MMA 矩阵乘法中的 K tails,不再要求 K 能被 kc 整除。这使得更多工作负载能够使用 MMA 内核,并减少对 mnpack 的回退。
ggml-cpu 为 Power10 MMA Q8/Q4 添加 K tails 支持
译自 English → 中文
ggml-cpu 现在支持 Power10 Q8/Q4 MMA 矩阵乘法中的 K tails,不再要求 K 能被 kc 整除。这使得更多工作负载能够使用 MMA 内核,并减少对 mnpack 的回退。