Разработчик eramax выпустил открытый исходный конвейер и патч llama.cpp, которые сжимают большую модель GLM-5.2 Mixture of Experts, чтобы она поместилась на одной RTX 3090 с 24 ГБ VRAM.
Подход использует whitening реальных активаций и общую базу для матриц gate и up, уменьшая средний размер эксперта до ~1.4 MiB при сохранении среднего косинусного сходства в оффлайн-режиме на уровне 0.959. Сжатое дерево кодека снижает требования к хранилищу со сотен гигабайт в сыром формате GGUF до единиц гигабайт. Несмотря на успешное послойное сжатие и загрузку, сквозная генерация текста остается нерабочей из-за накопленных ошибок во всех 75 слоях.
Эта работа служит исследовательским переходом для дальнейшего развития дизайна кодека и калибровки, а не готовым продуктом.