Falconチームは、科学、数学、コードの能力を拡大することを強調した新しい反復であるFalcon3ファミリーのオープンモデルをリリースしました。今回のリリースには、TransformerベースのFalcon3-1B、3B、7B、10Bの5つのベースモデルと、SSMのFalcon3-Mamba-7Bが含まれます。

主な革新としては、7Bモデルにおける14兆トークンを使用した単一の大规模事前トレーニング、最先端の10Bモデルを生成するための深度アップスケーリング、効率的な超小型モデルのための知識蒸留が挙げられます。このファミリーは最大32kトークンのコンテキスト長をサポートし、Instruct、GGUF、量子化されたバリアントを含むさまざまなフォーマットで利用可能です。

ベンチマーク結果では、Falcon3-10B-Baseが13Bパラメータ未満の条件下で最先端のパフォーマンスを達成し、MATH-Lvl5（22.9）とGSM8K（83.0）で高いスコアを示しました。これらのモデルはFalcon LLMライセンスの下でリリースされており、マルチモーダルバリアントが2025年1月に計画されています。