arxiv Moonshot AI (arXiv) · il y a 513 j

Gemma 3 introduit la vision, le contexte long et des performances améliorées

Traduit de English → Français

Google DeepMind a publié le rapport technique de Gemma 3, présentant une mise à jour multimodale de la famille de modèles ouverts légers Gemma allant de 1 à 27 milliards de paramètres. Cette version ajoute la compréhension visuelle, prend en charge au moins 128K tokens de contexte et modifie l'architecture pour réduire l'utilisation de la mémoire KV-cache.

L'architecture du modèle augmente le ratio des couches d'attention locale par rapport à globale et maintient les portées d'attention locale courtes pour gérer la mémoire de contexte long.
L'entraînement utilise la distillation, avec une nouvelle recette post-entraînement qui améliore significativement les capacités mathématiques, le chat, le suivi d'instructions et le multilinguisme.
Gemma3-4B-IT atteint des performances comparables à Gemma2-27B-IT, tandis que Gemma3-27B-IT est compétitive face à Gemini-1.5-Pro sur les benchmarks.

Les auteurs publient tous les modèles à la communauté, visant à fournir des performances supérieures aux versions précédentes pour les applications pré-entraînées et finement ajustées par instructions.

Importance 2/3 Moonshot AI (arXiv) Google DeepMind Open weights Research paper

Lire l'original

Articles similaires

lab Google DeepMind Blog · il y a 2 h · 2 vues

Google DeepMind open source le modèle IA WeatherNext pour la prévision des cyclones

Google DeepMind et Google Research ont open-sourcé les modèles IA WeatherNext 2 et WeatherNext Cyclones, qui ont atteint une précision de pointe dans la prédiction des trajectoires, de l'intensité et de la structure du vent des cyclones tropicaux. Publié dans Nature, ce travail démontre que ces modèles offrent aux prévisionnistes un jour supplémentaire de précision prédictive par rapport aux systèmes antérieurs.

media r/LocalLLaMA · il y a 30 j

Google publie le rapport technique de Gemma 4

Google a publié un rapport technique pour la famille de modèles Gemma 4. Le document est disponible sur arXiv.

arxiv arXiv cs.LG · il y a 9 j · 1 vue

Moonshot AI publie Kimi K3, un modèle MoE de 2,8 T de paramètres avec un contexte de million de tokens

Moonshot AI a présenté Kimi K3, un modèle Mixture-of-Experts open-source comportant 2,8 billions de paramètres au total et 104 milliards de paramètres activés par token. Le modèle prend en charge des capacités visuelles natives et une fenêtre de contexte d'un million de tokens, exploitant l'attention Delta Kimi et Stable LatentMoE pour atteindre une efficacité de mise à l'échelle d'environ 2,5 fois supérieure à celle de son prédécesseur, Kimi K2.

arxiv arXiv cs.CL · il y a 10 j · 4 vues

Moonshot AI publie Kimi K3, un modèle MoE de 2,8T avec un contexte de million de tokens

Moonshot AI présente Kimi K3, un modèle Mixture-of-Experts open-source comportant 2,8 billions de paramètres au total et 104 milliards de paramètres activés par token. L'architecture utilise des capacités visuelles natives et prend en charge une fenêtre de contexte d'un million de tokens, grâce à Kimi Delta Attention et Stable LatentMoE.

media r/LocalLLaMA · il y a 14 j · 2 vues

Arcee et le Département de l'énergie s'associent pour construire Genesis-Science-1

Arcee, un développeur de modèles à poids ouverts aux États-Unis, s'est associé au Département de l'énergie pour créer Genesis-Science-1. Cette collaboration donne lieu à un modèle ouvert conçu spécifiquement pour la recherche scientifique.