Qwen은 시각 기능을 갖춘 3970억 파라미터 인과 언어 모델인 Qwen3.5-397B-A17B 모델의 FP8 양자화 가중치를 출시했습니다. 이 모델은 추론 단계마다 170억 개의 파라미터만 활성화합니다.
이 모델은 게이트드 델타 네트워크와 희소 Mixture-of-Experts를 결합한 하이브리드 아키텍처를 활용하여 최소 지연 시간으로 높은 처리량의 추론을 제공합니다. 262,144 토큰의 기본 컨텍스트 길이를 지원하며 최대 1,010,000까지 확장 가능하고, 201개 언어와 방언을 커버합니다.
FP8 양자화는 블록 크기 128의 세분화된 방법을 사용하며, 원래 모델과 거의 동일한 성능 지표를 유지하면서 자원 요구 사항을 줄입니다.