SLAI представляет T-Rex — сквозную оптимизационную платформу для полного параметрического постобучения моделей MoE триллионного масштаба на суперкластере NPU Ascend. Используя семейство моделей DeepSeek-V4 в качестве целевой нагрузки, система решает проблемы с памятью и накладными расходами на коммуникацию за счёт иерархического параллелизма и оптимизации выполнения ядер.

  • Инфраструктура достигает 34,22% использования FLOPs модели (MFU), что представляет собой улучшение в 2,93 раза по сравнению с базовой версией с открытым исходным кодом при сохранении стабильности обучения.
  • Установлен комбинированный рабочий процесс CPT и SFT для сложных задач операционных исследований, использующий синтетические документы оптимизации, проверенные решателями.
  • Полученный набор данных содержит 10 тысяч высококачественных образцов SFT, охватывающих четыре категории задач и три представления проблем.
  • Специализированная модель достигает среднего показателя zero-shot Pass@1 на уровне 71,81%, превосходя GPT-5.4-Mini и базовую модель DeepSeek-V4-Flash на 3,98 и 11,27 процентных пункта соответственно.

Эта работа демонстрирует полный путь для эффективного постобучения в инфраструктуре Ascend, продвигая системы передовых моделей для сложных рассуждений.