SLAI는 Ascend SuperPOD 인프라의 DeepSeek-V4 모델 계열을 위한 풀 파라미터 사후 학습 프레임워크인 T-Rex를 소개합니다. 이 시스템은 계층적 최적화를 통해 트릴리언 파라미터 MoE 모델의 메모리 압력 및 통신 오버헤드를 해결합니다.
- 34.22% Model FLOPs Utilization (MFU)를 달성하여 오픈소스 기준선 대비 2.93배 개선되었습니다.
- 솔버 검증 합성 데이터를 사용하여 운영 연구 작업에 대한 CPT 및 SFT 워크플로우를 확립했습니다.
- 전문화된 DeepSeek-V4-Flash 모델은 71.81% 제로샷 Pass@1 점수를 달성하여 GPT-5.4-Mini보다 3.98 퍼센트포인트 더 높습니다.
이 작업은 Ascend 하드웨어에서 프론티어 모델의 사후 학습과 복잡한 추론을 위한 도메인 특화 기능 생성을 위한 효율적인 경로를 보여줍니다.