El desarrollador eramax ha lanzado un pipeline de código abierto y un parche para llama.cpp que comprime el gran modelo GLM-5.2 Mixture of Experts para que quepa en una sola RTX 3090 con 24 GB de VRAM.
El enfoque utiliza whitening de activaciones reales y una base compartida para las matrices gate y up, reduciendo el tamaño medio del experto a ~1.4 MiB mientras mantiene una similitud coseno offline media de 0.959. El árbol de códec comprimido reduce los requisitos de almacenamiento de cientos de gigabytes en el formato GGUF sin procesar a unos pocos gigabytes. A pesar de la compresión y carga por capa exitosas, la generación de texto de extremo a extremo sigue sin funcionar debido a errores apilados en las 75 capas.
El trabajo sirve como un relevo de investigación para un mayor desarrollo en el diseño del códec y la calibración, en lugar de un producto terminado.