GLM 5.2 только на CPU: Epyc и 512 ГБ ОЗУ

Пользователь протестировал 4-битную версию GLM-5.2 (GLM-5.2-UD-Q4_K_XL) на сервере с процессором AMD Epyc Rome 7452 и 512 ГБ ОЗУ. Модель оценивалась с использованием сложного промпта для программирования, требующего создания самодостаточной 3D-игры в формате HTML, CSS и JavaScript.

• Оборудование: процессор AMD Epyc Rome 7452 с 512 ГБ ОЗУ.
• Модель: GLM-5.2-UD-Q4_K_XL (4-битное квантование).
• Задача: Генерация одного файла .html для 3D-игры с использованием Three.js, включая управление игроком, собираемые предметы, врагов и интерфейс HUD.
• Результат: Модель сгенерировала 15 510 токенов за 2 часа 29 минут.
• Качество: Автор отметил удивление высоким качеством сгенерированного кода.

Тест демонстрирует, что большие языковые модели могут выполнять сложные задачи логического вывода и генерации кода на оборудовании только с CPU при наличии достаточного объема памяти.