메타는 플래그십 405B 파라미터 모델을 비롯해 업그레이드된 8B 및 70B 버전을 함께 공개하며 Llama 3.1을 공식 출시했습니다. 메타는 이 405B 모델을 전 세계적으로 공개된 가장 큰 파운데이션 모델로 위치시키며, 일반 지식, 수학, 도구 사용 등 다양한 능력 면에서 최상위 폐쇄형 AI 모델들과 경쟁할 수 있다고 주장합니다.

  • Llama 3.1 405B은 16,000개 이상의 H100 GPU를 사용하여 15조 개 이상의 토큰으로 학습되었으며, 효율적인 추론을 위해 8비트(FP8) 정밀도로 양자화되었습니다.
  • 업그레이드된 8B 및 70B 모델은 128K 컨텍스트 길이, 다국어 지원 및 향상된 추론 능력을 갖추고 있습니다.
  • 메타는 라이선스를 업데이트하여 개발자가 합성 데이터 생성 및 증류 등을 통해 다른 모델을 개선하는 데 모델 출력을 사용할 수 있도록 했습니다.
  • 성능 평가 결과, 150개 이상의 벤치마크 데이터셋에서 GPT-4, GPT-4o, Claude 3.5 Sonnet과 경쟁력 있는 것으로 나타났습니다.
  • 이번 출시에는 Llama Guard 3, Prompt Guard가 포함되며, 구성 요소 인터페이스를 표준화하기 위한 "Llama Stack" 제안도 함께 발표되었습니다.

이번 출시는 메타와 데이터를 공유하지 않고 온프레미스 또는 로컬에서 실행할 수 있는 사용자 정의 가중치를 제공함으로써 개발자의 진입 장벽을 낮추는 것을 목표로 합니다.