DeepSeek는 에이전트 워크로드에서 긴 컨텍스트 계산과 큰 KV 캐시의 높은 비용을 해결하도록 설계된 멀티모달 Mixture-of-Experts 모델인 DeepSeek-V4.1-Flash를 출시했습니다.
이 모델은 prefill 동안 8B 파라미터만 활성화하는 Causal Encoder-Decoder 아키텍처를 특징으로 하며, decode 동안에는 16B가 활성화됩니다. Compressed Sparse Attention 2와 FP4 캐싱을 결합하여 토큰당 글로벌 KV 캐시 footprint이 890바이트에 도달하며, 이는 DeepSeek-V4-Flash 베이스라인의 약 4분의 1 수준입니다. SWA Bounded Replay 최적화를 통해 SSD 또는 호스트 메모리에서의 지속적 KV 캐시 사용량은 이전 버전의 약 8분의 1로 줄어듭니다. 이 모델은 45T 토큰의 멀티모달 코퍼스에서 사전 학습되었으며 최대 100만 토큰의 컨텍스트를 지원합니다.
이러한 아키텍처 변경은 입력 중심 워크로드에 대한 비용 효율성을 크게 향상시키며, 메모리 footprint이 현저히 작음에도 불구하고 베이스라인보다 더 나은 성능을 제공합니다.