media r/LocalLLaMA · il y a 5 h · open_models

DeepSeek lance V4-1 Flash, un modèle MoE de 552B avec un contexte de 1M tokens

Traduit de English → Français

DeepSeek a lancé son nouveau modèle, DeepSeek V4-1 Flash. C'est un modèle Mixture-of-Experts (MoE) multimodal disposant d'une base de 552 milliards de paramètres.

Le modèle prend en charge des contextes allant jusqu'à un million de tokens.
Il utilise une architecture Mixture-of-Experts multimodale avec 552B de paramètres.

Importance 2/3 r/LocalLLaMA DeepSeek Multimodal Open weights

Lire l'original

DeepSeek publie DeepSeek-V4-Flash-Vision-Exp sur Hugging Face

DeepSeek a publié le checkpoint du modèle DeepSeek-V4-Flash-Vision-Exp sur Hugging Face. Le dépôt est désormais accessible au public.

media Interconnects · il y a 39 j · 29 vues

Thinking Machines lance Inkling, Tencent met à jour Hy3 avec la licence Apache 2.0

Le dernier tour d'horizon des artefacts de modèles ouverts met en avant les lancements significatifs de Thinking Machines et Tencent, ainsi que les mises à jour de Poolside et DeepSeek.

media AI News (smol.ai) · il y a 55 j · 24 vues

Thinking Machines Lab publie le modèle fondamental Inkling en poids ouverts

Thinking Machines Lab a lancé Inkling, sa première famille de modèles fondamentaux entièrement publiée en poids ouverts. Présenté comme un modèle de base multimodale personnalisable plutôt que comme un modèle phare optimisé pour les benchmarks, Inkling prend en charge les entrées textuelles, image et audio avec une multimodalité native.

media MarkTechPost · à l'instant En direct

DeepSeek publie DeepSeek-V4.1-Flash avec un contexte de 1M et un cache KV FP4

DeepSeek AI a publié DeepSeek-V4.1-Flash, un modèle Mixture-of-Experts multimodal disposant d'une fenêtre de contexte de 1 million de tokens et d'un cache KV FP4 qui réduit l'empreinte globale du cache à 890 octets par token. Le modèle utilise une architecture encodeur-décodeur causal et Compressed Sparse Attention 2 (CSA2) pour réduire considérablement les besoins en mémoire tout en maintenant les performances.

media r/LocalLLaMA · il y a 5 h · 3 vues

DeepSeek publie V4.1 Flash, un modèle MoE de 552B à moindre coût et plus rapide

DeepSeek a officiellement publié le modèle DeepSeek V4.1 Flash, la version la plus légère de sa nouvelle série d'architectures dotée d'une compréhension visuelle multimodale native. Construit sur une conception Causal-Encoder-Decoder, il s'agit d'un modèle Mixture of Experts (MoE) de 552 milliards de paramètres qui n'active que 8 milliards de paramètres du côté entrée et 16 milliards du côté sortie.