A equipe da Falcon lançou a família Falcon3 de modelos abertos, uma nova iteração que enfatiza capacidades expandidas de ciência, matemática e código. O lançamento inclui cinco modelos base: Falcon3-1B, 3B, 7B e 10B (baseados em transformer), além do Falcon3-Mamba-7B (SSM).
As principais inovações incluem pré-treinamento em larga escala único para o modelo de 7B usando 14 trilhões de tokens, aumento de profundidade para criar um modelo de 10B de última geração e distilação de conhecimento para modelos pequenos eficientes. A família suporta comprimentos de contexto de até 32k tokens e está disponível em vários formatos, incluindo Instruct, GGUF e variantes quantizadas.
Os resultados dos benchmarks mostram que o Falcon3-10B-Base alcançou desempenho de última geração com menos de 13 bilhões de parâmetros, com pontuações fortes no MATH-Lvl5 (22,9) e GSM8K (83,0). Os modelos são lançados sob a licença Falcon LLM, com variantes multimodais planejadas para janeiro de 2025.