Swiss AI a publié Apertus 1.5, une famille de modèles de langage de 8B et 70B paramètres qui introduisent des capacités multimodales et une nouvelle fonctionnalité de raisonnement. La mise à jour implique un pré-entraînement continu sur un mélange multimodal supplémentaire de 4T tokens pour le modèle 8B et 2T tokens pour le modèle 70B.
- Prend en charge les entrées multimodales incluant des images, de l'audio et du texte pour générer des réponses textuelles.
- Introduit un « mode de réflexion » qui permet aux modèles de raisonner sur l'entrée avant de générer des réponses.
- Augmente la longueur de contexte par défaut à 262 144 tokens, soit une multiplication par quatre par rapport à Apertus 1.0.
- Améliore les capacités de suivi d'instructions et d'utilisation d'outils grâce à une recette post-entraînement améliorée.
- Maintient des poids, des données et des détails d'entraînement entièrement ouverts tout en prenant en charge un large éventail de langues.
La publication vise à faire progresser l'état de l'IA multilingue, multimodale et transparente en fournissant aux développeurs des options d'interaction polyvalentes et des performances améliorées sur les tâches de raisonnement.