Falcon 团队发布了 Falcon3 系列的开源模型，这是一个强调扩展科学、数学和代码能力的新迭代。此次发布包括五个基础模型：基于 Transformer 的 Falcon3-1B、3B、7B 和 10B，以及 SSM 架构的 Falcon3-Mamba-7B。

关键创新包括使用 14 万亿 token 对 7B 模型进行单次大规模预训练，通过深度扩展打造最先进的 10B 模型，以及用于高效微型模型的知识蒸馏。该系列支持长达 32k token 的上下文长度，并提供多种格式，包括 Instruct、GGUF 和量化变体。

基准测试结果显示，Falcon3-10B-Base 在参数量低于 13B 的情况下实现了最先进的性能，在 MATH-Lvl5（22.9）和 GSM8K（83.0）上得分强劲。这些模型根据 Falcon LLM 许可证发布，计划于 2025 年 1 月推出多模态变体。