В статье представлены результаты бенчмарков модели GLM-5.2-Int4-Int8, работающей на восьми ускорителях GB10. Конфигурация обеспечивает примерно 1 200 токенов в секунду на этапе префилла и в среднем 33–54 токена в секунду на этапе декодирования.
- Пропускная способность префилла достигает ~1 200 t/s.
- Средняя пропускная способность декодирования варьируется от 33 до 54 t/s.
- Конфигурация поддерживает тензорную параллельность (tp) 8 как для GLM-5.2, так и для параллельной модели Mimo 2.5, обрабатывающей изображения/аудио.
Такой профиль производительности позволяет системе запускать GLM-5.2 вместе с другими моделями, такими как Mimo 2.5, на том же оборудовании.