El equipo de Falcon ha lanzado la familia de modelos abiertos Falcon3, una nueva iteración que enfatiza capacidades expandidas en ciencia, matemáticas y código. El lanzamiento incluye cinco modelos base: Falcon3-1B, 3B, 7B y 10B (basados en transformadores), además de Falcon3-Mamba-7B (SSM).
Las innovaciones clave incluyen un preentrenamiento a gran escala único para el modelo de 7B utilizando 14 billones de tokens, escalado de profundidad para crear un modelo de 10B de última generación, y destilación de conocimiento para modelos pequeños eficientes. La familia admite longitudes de contexto de hasta 32k tokens y está disponible en varios formatos, incluyendo Instruct, GGUF y variantes cuantizadas.
Los resultados de las pruebas muestran que Falcon3-10B-Base logra un rendimiento de última generación con menos de 13 mil millones de parámetros, con puntuaciones sólidas en MATH-Lvl5 (22.9) y GSM8K (83.0). Los modelos se publican bajo la licencia Falcon LLM, con variantes multimodales planificadas para enero de 2025.