media Latent Space · à l'instant · agents

DeepSeek lance v4.1-Flash avec une architecture 763B-P8B-D16B pour une inférence efficace

Traduit de English → Français

DeepSeek a lancé DeepSeek v4.1-Flash, un nouveau modèle phare à poids ouverts présentant une nouvelle architecture causale encodeur-décodeur conçue pour maximiser l'efficacité de l'inférence et réduire les coûts.

Le modèle utilise une structure de mélange d'experts avec 763 milliards de paramètres au total, mais n'active que 8B de paramètres pour le traitement de l'entrée et 16B pour la génération de sortie. Cette conception atteint une parcimonie de 1 à 2 % et réduit l'emprise du cache KV à un huitième de celle du modèle V4 Flash précédent. Il prend en charge une fenêtre de contexte de 1M de tokens avec des entrées textuelles et image sous licence MIT.

Les benchmarks indépendants d'Artificial Analysis et de Vals classent v4.1-Flash comme le meilleur modèle à poids ouverts, citant son excellent rapport coût-performance avec un prix de 0,30 $ par million de tokens d'entrée.

Importance 3/3 Latent Space DeepSeek Inference efficiency Open weights

Lire l'original

DeepSeek publie DeepSeek-V4.1-Flash avec un contexte de 1M et un cache KV FP4

DeepSeek AI a publié DeepSeek-V4.1-Flash, un modèle Mixture-of-Experts multimodal disposant d'une fenêtre de contexte de 1 million de tokens et d'un cache KV FP4 qui réduit l'empreinte globale du cache à 890 octets par token. Le modèle utilise une architecture encodeur-décodeur causal et Compressed Sparse Attention 2 (CSA2) pour réduire considérablement les besoins en mémoire tout en maintenant les performances.

media r/LocalLLaMA · il y a 69 j · 10 vues

DeepSeek publie les GGUF V4 Flash en 2, 3 et 4 bits

Un utilisateur a soumis des liens vers des dépôts Hugging Face contenant des modèles DeepSeek V4 Flash convertis au format GGUF avec des quantifications de 2, 3 et 4 bits.

lab DeepSeek (Hugging Face) · il y a 348 j · 10 vues

DeepSeek lance DeepSeek-V3.2-Exp avec une attention creuse pour l'efficacité du contexte long

DeepSeek-AI a publié DeepSeek-V3.2-Exp, un modèle expérimental qui introduit l'attention creuse DeepSeek (DSA) pour améliorer l'efficacité de l'entraînement et de l'inférence dans les scénarios à contexte long.

media r/LocalLLaMA · il y a 2 j · 4 vues

DeepSeek lance V4-1 Flash, un modèle MoE de 552B avec un contexte de 1M tokens

DeepSeek a lancé son nouveau modèle, DeepSeek V4-1 Flash. C'est un modèle Mixture-of-Experts (MoE) multimodal disposant d'une base de 552 milliards de paramètres.

media r/LocalLLaMA · il y a 2 j · 13 vues

DeepSeek publie V4.1 Flash, un modèle MoE de 552B à moindre coût et plus rapide

DeepSeek a officiellement publié le modèle DeepSeek V4.1 Flash, la version la plus légère de sa nouvelle série d'architectures dotée d'une compréhension visuelle multimodale native. Construit sur une conception Causal-Encoder-Decoder, il s'agit d'un modèle Mixture of Experts (MoE) de 552 milliards de paramètres qui n'active que 8 milliards de paramètres du côté entrée et 16 milliards du côté sortie.