개발자 eramax는 24 GB VRAM을 갖춘 단일 RTX 3090에 맞도록 대규모 GLM-5.2 Mixture of Experts 모델을 압축하는 오픈소스 파이프라인과 llama.cpp 패치를 출시했습니다.

이 접근 방식은 실시간 활성화 whitening과 게이트 및 업 행렬을 위한 공유 기저를 사용하여 평균 전문가 크기를 약 1.4 MiB로 줄이면서 평균 오프라인 코사인 유사도 0.959를 유지합니다. 압축된 코덱 트리는 원시 GGUF 형식의 수백 기가바이트 저장 요구사항을 한 자리 수 기가바이트로 줄입니다. 층별 압축과 로딩은 성공적이었지만, 75개 층에 걸쳐 중첩된 오류로 인해 끝에서 끝까지의 텍스트 생성은 여전히 깨져 있습니다.

이 작업은 완성된 제품이 아니라 코덱 설계 및 교정을 위한 추가 개발을 위한 연구 인계 역할을 합니다.