DeepSeek, 긴 컨텍스트 효율성을 위한 Sparse Attention을 탑재한 DeepSeek-V3.2-Exp 출시

DeepSeek-AI는 긴 컨텍스트의 학습 및 추론 효율성을 개선하기 위해 DeepSeek Sparse Attention (DSA)를 도입한 실험용 모델인 DeepSeek-V3.2-Exp를 출시했습니다.

• 이 모델은 처음으로 세분화된 스파스 어텐션을 구현하여 V3.1-Terminus를 기반으로 구축되었습니다.
• 계산 효율성을 최적화하면서도 공개 벤치마크에서 V3.1-Terminus와 동등한 성능을 유지합니다.
• 2025.11.17 업데이트로 인해 인덱서 모듈의 Rotary Position Embedding 불일치로 인한 성능 저하가 해결되었습니다.
• 이 모델은 MIT 라이선스 하에 제공되며, vLLM 및 SGLang용 Docker 이미지에 대해 day-0 지원을 제공합니다.

이 릴리스를 통해 연구자들은 확장된 텍스트 시퀀스에 중점을 둔 트랜스포머 아키텍처의 최적화를 검증할 수 있습니다.