Пользователь демонстрирует запуск модели GLM 5.2 на пользовательской аппаратной конфигурации, состоящей из четырех GPU GB10, подключенных через коммутатор 100G, что обеспечивает контекстную длину около 330k и скорость генерации ~25 токенов в секунду.
- Конфигурация использует TP4+DCP2 для KV-пула размером ~360k, при этом скорость префиллинга достигает 900-1000 t/s на длинных промптах.
- Использование DCP4 расширяет контекст до 660k, но снижает скорость префиллинга до ~400 t/s, тогда как отключение DCP повышает скорость префиллинга до ~750 t/s.
- Производительность декодирования варьируется в зависимости от типа контента: задачи мышления получают ~20 tok/s, код — 25-35 tok/s, а типичные диалоги в Pi дают ~24 tok/s.
- Сжатие модели на 5-10% может позволить достичь контекста 1M или более высокой параллельности, хотя было обнаружено, что сжатие без данных на 10% приводит к потере части соблюдения инструкций, несмотря на сохранение способности к программированию.
- Общая стоимость оборудования составила примерно $16k, включая компоненты: два Acer GN100, два Asus GX10 и коммутатор Mikrotik CRS504.
Автор отмечает, что хотя эта конфигурация не является финансово оптимальной для общего использования, она является жизнеспособной альтернативой запуску GLM локально на Mac Studio с 512 ГБ памяти, который, по сообщениям, обеспечивает только 12 tok/s декодирования.