Meta публично выпустила Llama 3.1, представив свою флагманскую модель с 405B параметров наряду с обновленными версиями на 8B и 70B. Компания позиционирует модель 405B как крупнейшую в мире открыто доступную базовую модель, утверждая, что она сопоставима по возможностям с ведущими закрытыми ИИ-моделями в таких областях, как общие знания, математика и использование инструментов.

  • Llama 3.1 405B обучалась на более чем 15 триллионах токенов с использованием более чем 16 000 GPU H100 и квантована до 8-битной точности (FP8) для эффективного вывода.
  • Обновленные модели 8B и 70B имеют длину контекста 128K, поддержку множества языков и улучшенные способности к рассуждению.
  • Meta обновила лицензию, разрешая разработчикам использовать выходные данные модели для улучшения других моделей, в том числе через генерацию синтетических данных и дистилляцию.
  • Оценки производительности показывают конкурентоспособность с GPT-4, GPT-4o и Claude 3.5 Sonnet более чем на 150 наборах данных для бенчмарков.
  • В релиз входят Llama Guard 3, Prompt Guard и предложение по "Llama Stack" для стандартизации интерфейсов компонентов.

Цель выпуска — снизить барьеры для разработчиков, предоставив настраиваемые веса, которые можно запускать локально или в инфраструктуре компании без передачи данных Meta.