Команда Falcon выпустила семейство открытых моделей Falcon3, новую итерацию, делающую акцент на расширенных возможностях в области науки, математики и программирования. В релиз входят пять базовых моделей: Falcon3-1B, 3B, 7B и 10B (на основе трансформера), а также Falcon3-Mamba-7B (SSM).
Ключевые инновации включают однократное крупномасштабное предобучение модели 7B на 14 триллионах токенов, увеличение глубины для создания модели 10B уровня state-of-the-art и дистилляцию знаний для эффективных компактных моделей. Семейство поддерживает длину контекста до 32k токенов и доступно в различных форматах, включая Instruct, GGUF и квантованные варианты.
Результаты бенчмарков показывают, что Falcon3-10B-Base достигает лучших показателей при количестве параметров менее 13B, демонстрируя сильные результаты на MATH-Lvl5 (22.9) и GSM8K (83.0). Модели выпущены под лицензией Falcon LLM, варианты с поддержкой мультимодальности запланированы на январь 2025 года.