Meta объявила о выпуске Llama 4 Scout и Llama 4 Maverick, представив первые открытые нативно мультимодальные модели, построенные на архитектуре mixture-of-experts (MoE). Эти модели предназначены для поддержки всей экосистемы Llama благодаря беспрецедентной поддержке длины контекста и эффективным возможностям развертывания.
- Llama 4 Scout имеет 17 миллиардов активных параметров с 16 экспертами, помещается на одном GPU H100 с квантованием Int4 и поддерживает длину входного контекста в 10M токенов.
- Llama 4 Maverick использует 17 миллиардов активных параметров с 128 маршрутизируемыми экспертами плюс общий эксперт, что позволяет запускать его на одном хосте H100 DGX при одновременном снижении латентности вывода.
- Обе модели используют раннее слияние (early fusion) для бесшовной интеграции текстовых и визуальных токенов; они обучены на более чем 30 триллионах токенов, включая разнообразные датасеты текста, изображений и видео.
- Meta также продемонстрировала Llama 4 Behemoth — модель-учитель, которая превосходит GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro на STEM-бенчмарках, таких как MATH-500 и GPQA Diamond.
Цель выпуска — предоставить разработчикам эффективный высококачественный мультимодальный интеллект для создания приложений следующего поколения для потребителей и бизнеса.