eramax 使用编解码器原生专家将 GLM-5.2 MoE 压缩至 RTX 3090

开发者 eramax 发布了一个开源管道和 llama.cpp 补丁，可将大型 GLM-5.2 Mixture of Experts 模型压缩到单张拥有 24 GB VRAM 的 RTX 3090 上。

该方法使用真实激活值的 whitening 以及 gate 和 up 矩阵的共享基，将平均专家大小减少至 ~1.4 MiB，同时保持离线余弦相似度均值为 0.959。 压缩后的编解码器树将原始 GGUF 格式中数百 GB 的存储需求降低至个位数 GB。 尽管逐层压缩和加载成功，但由于 75 层中的错误叠加，端到端文本生成功能仍然无法正常工作。

这项工作作为研究交接，旨在进一步开发编解码器设计和校准，而非一个成品。