L'équipe Falcon a publié la famille de modèles ouverts Falcon3, une nouvelle itération mettant l'accent sur des capacités étendues en sciences, mathématiques et code. La publication comprend cinq modèles de base : Falcon3-1B, 3B, 7B et 10B (basés sur des transformeurs), ainsi que Falcon3-Mamba-7B (SSM).
Les innovations clés incluent un pré-entraînement à grande échelle unique pour le modèle 7B utilisant 14 billions de tokens, une augmentation de la profondeur pour créer un modèle 10B à l'état de l'art, et une distillation de connaissances pour des modèles minuscules efficaces. La famille prend en charge des longueurs de contexte allant jusqu'à 32k tokens et est disponible dans divers formats incluant Instruct, GGUF et des variantes quantifiées.
Les résultats des benchmarks montrent que Falcon3-10B-Base atteint des performances à l'état de l'art sous les 13 milliards de paramètres, avec de solides scores sur MATH-Lvl5 (22.9) et GSM8K (83.0). Les modèles sont publiés sous la licence Falcon LLM, avec des variantes multimodales prévues pour janvier 2025.