Gemma 4 introduit des modèles nativement multimodaux avec une architecture unifiée sans encodeur

Google présente Gemma 4, une nouvelle génération de modèles de langage ouverts et nativement multimodaux, dotés d'architectures denses et de Mixture-of-Experts, allant de 2,3 milliards à 31 milliards de paramètres.

Cette suite comprend des encodeurs visuels et audio améliorés pour toutes les tailles, et propose une architecture unifiée sans encodeur pour le modèle de 12 milliards de paramètres, qui ingère directement des patches audio bruts et d'images. Elle intègre également un mode de réflexion pour générer des traces de raisonnement avant de répondre, tout en améliorant la vitesse d'inférence, la mémoire, l'efficacité du calcul et les capacités de contexte long.

Gemma 4 marque un bond significatif en performance sur les benchmarks STEM, multimodaux et à contexte long, rivalisant avec des modèles ouverts de pointe plus grands dans les tâches évaluées par des humains.