Le développeur eramax a publié un pipeline open-source et un patch llama.cpp qui compresse le grand modèle GLM-5.2 Mixture of Experts pour qu'il tienne sur une seule RTX 3090 avec 24 Go de VRAM.
L'approche utilise le blanchiment d'activation en temps réel et une base partagée pour les matrices de porte et de mise à l'échelle, réduisant la taille moyenne des experts à ~1,4 Mio tout en maintenant une similarité cosinus hors ligne moyenne de 0,959. L'arbre de codec compressé réduit les exigences de stockage de centaines de gigaoctets dans le format GGUF brut à quelques gigaoctets. Malgré une compression et un chargement par couche réussis, la génération de texte de bout en bout reste cassée en raison d'erreurs empilées sur les 75 couches.
Ce travail sert de relais de recherche pour un développement ultérieur sur la conception du codec et l'étalonnage plutôt que comme un produit fini.