DeepSeek lance DeepSeek-V3.2-Exp avec une attention creuse pour l'efficacité du contexte long

DeepSeek-AI a publié DeepSeek-V3.2-Exp, un modèle expérimental qui introduit l'attention creuse DeepSeek (DSA) pour améliorer l'efficacité de l'entraînement et de l'inférence dans les scénarios à contexte long.

• Le modèle s'appuie sur V3.1-Terminus en implémentant pour la première fois une attention creue fine-granulaire.
• Il maintient des performances équivalentes à celles de V3.1-Terminus sur les benchmarks publics tout en optimisant l'efficacité computationnelle.
• Une mise à jour du 2025.11.17 a résolu une incohérence dans l'Embedding de Position Rotatif (Rotary Position Embedding) du module d'indexation qui pouvait dégrader les performances.
• Le modèle est disponible sous licence MIT avec un support day-0 pour vLLM et des images Docker pour SGLang.

Cette publication permet aux chercheurs de valider les optimisations des architectures de transformateurs axées sur les séquences de texte étendues.