開発者のeramaxは、大規模なGLM-5.2 Mixture of Expertsモデルを24 GB VRAMの単一RTX 3090に収まるように圧縮するオープンソースのパイプラインとllama.cppパッチをリリースした。
この手法は、リアルアクティベーションのホワイトニングとゲート行列およびアップ行列のための共有基底を使用し、平均エキスパートサイズを約1.4 MiBに削減しつつ、平均オフラインコサイン類似度を0.959維持している。 圧縮されたコーデックツリーは、生のGGUF形式での数百ギガバイトのストレージ要件を単一桁のギガバイトに削減する。 レイヤーごとの圧縮と読み込みは成功したが、75層全体にわたる積み重なるエラーのため、エンドツーエンドのテキスト生成はまだ機能していない。
この取り組みは、完成した製品ではなく、コーデック設計とキャリブレーションに関するさらなる開発のための研究引き継ぎとして機能する。