sycl 更新扩展了对 MoE MUL_MAT_ID 中重排序专家张量处理的支持,涵盖 Q4_K、Q5_K 和 Q6_K。不支持的 3D 重排序情况现在会回退而不是中止。
sycl:支持重排序的 Q4_K/Q5_K/Q6_K MoE MUL_MAT_ID
译自 English → 中文
sycl 更新扩展了对 MoE MUL_MAT_ID 中重排序专家张量处理的支持,涵盖 Q4_K、Q5_K 和 Q6_K。不支持的 3D 重排序情况现在会回退而不是中止。