lab Qwen (Alibaba) · il y a 409 j

MiniMax publie MiniMax-M1, un modèle de raisonnement à attention hybride à poids ouverts

Traduit de English → Français

MiniMax a présenté MiniMax-M1, le premier modèle de raisonnement à grande échelle à attention hybride à poids ouverts au monde. Construit sur son architecture précédente MiniMax-Text-01, il combine une conception Mixture-of-Experts (MoE) avec un mécanisme d'attention éclair pour prendre en charge un contexte de 1 million de tokens et une mise à l'échelle efficace du calcul au moment de l'inférence.

Le modèle compte 456 milliards de paramètres au total, dont 45,9 milliards activés par token, consommant seulement 25 % des FLOPs de DeepSeek R1 pour une longueur de génération de 100K. Il a été entraîné à l'aide d'un apprentissage par renforcement à grande échelle et de deux nouvelles versions avec des budgets de réflexion de 40K et 80K. Les expériences montrent qu'il surpasse des modèles tels que DeepSeek-R1 et Qwen3-235B sur des tâches complexes d'ingénierie logicielle, d'utilisation d'outils et de contexte long.

MiniMax-M1 sert de fondation pour les agents de modèles de langage de nouvelle génération en permettant un raisonnement efficace sur des entrées longues et des processus de réflexion étendus.

Importance 2/3 Qwen (Alibaba) MiniMax Open weights Research paper

Lire l'original

Articles similaires

media r/LocalLLaMA · il y a 3 h

MiniMax lance le modèle vidéo MiniMax H3 avec des poids ouverts bientôt

MiniMax a lancé MiniMax H3, un modèle de génération multimodale à usage général qui comprend le contexte unifié entre le texte, les images, la vidéo et l'audio. Le modèle génère de la vidéo avec du son stéréo natif d'une durée allant jusqu'à 15 secondes et une résolution 2K.

arxiv arXiv cs.LG · il y a 3 j

Moonshot AI publie Kimi K3, un modèle MoE de 2,8 T de paramètres avec un contexte de million de tokens

Moonshot AI a présenté Kimi K3, un modèle Mixture-of-Experts open-source comportant 2,8 billions de paramètres au total et 104 milliards de paramètres activés par token. Le modèle prend en charge des capacités visuelles natives et une fenêtre de contexte d'un million de tokens, exploitant l'attention Delta Kimi et Stable LatentMoE pour atteindre une efficacité de mise à l'échelle d'environ 2,5 fois supérieure à celle de son prédécesseur, Kimi K2.

arxiv arXiv cs.CL · il y a 3 j

Moonshot AI publie Kimi K3, un modèle MoE de 2,8T avec un contexte de million de tokens

Moonshot AI présente Kimi K3, un modèle Mixture-of-Experts open-source comportant 2,8 billions de paramètres au total et 104 milliards de paramètres activés par token. L'architecture utilise des capacités visuelles natives et prend en charge une fenêtre de contexte d'un million de tokens, grâce à Kimi Delta Attention et Stable LatentMoE.

media r/LocalLLaMA · il y a 8 j

Arcee et le Département de l'énergie s'associent pour construire Genesis-Science-1

Arcee, un développeur de modèles à poids ouverts aux États-Unis, s'est associé au Département de l'énergie pour créer Genesis-Science-1. Cette collaboration donne lieu à un modèle ouvert conçu spécifiquement pour la recherche scientifique.

media r/LocalLLaMA · il y a 8 j

Arcee AI et le DOE annoncent Genesis-Science-1, un modèle à poids ouverts de 1T pour la recherche scientifique

Le Département de l'Énergie (DOE) et Arcee AI ont annoncé le développement de Genesis-Science-1 (GS1), un modèle de langage à poids ouverts conçu spécifiquement pour la recherche scientifique. Cette initiative s'inscrit dans la Mission Genesis, visant à apporter des capacités d'IA avancées à un large éventail de domaines scientifiques grâce à un effort conjoint entre l'agence gouvernementale et l'entreprise privée.