eramax mengompresi GLM-5.2 MoE untuk RTX 3090 dengan ahli asli codec

Pengembang eramax telah merilis pipa sumber terbuka dan patch llama.cpp yang mengompresi model Mixture of Experts besar GLM-5.2 agar muat pada satu RTX 3090 dengan VRAM 24 GB.

Pendekatan ini menggunakan whitening aktivasi real-time dan basis bersama untuk matriks gerbang dan up, mengurangi ukuran ahli rata-rata menjadi ~1,4 MiB sambil mempertahankan kesamaan kosinus offline rata-rata sebesar 0,959. Pohon codec yang dikompresi mengurangi kebutuhan penyimpanan dari ratusan gigabyte dalam format GGUF mentah menjadi beberapa gigabyte. Meskipun kompresi per-layer dan pemuatan berhasil, generasi teks end-to-end masih rusak karena kesalahan bertumpuk di seluruh 75 lapisan.

Karya ini berfungsi sebagai serahan penelitian untuk pengembangan lebih lanjut pada desain codec dan kalibrasi daripada produk jadi.