메타는 혼합 전문가(MoE) 아키텍처로 구축된 최초의 오픈 가중치 네이티브 멀티모달 모델인 Llama 4 Scout와 Llama 4 Maverick의 출시를 발표했습니다. 이 모델들은 전례 없는 컨텍스트 길이 지원과 효율적인 배포 기능으로 전체 Llama 생태계를 지원하도록 설계되었습니다.

  • Llama 4 Scout는 Int4 양자화와 함께 단일 H100 GPU에 적합하며 10M 입력 컨텍스트 길이를 지원하는 16개의 전문가와 함께 170억 개의 활성 파라미터를 특징으로 합니다.
  • Llama 4 Maverick은 추론 지연 시간을 줄이면서 단일 H100 DGX 호스트에서 실행할 수 있는 공유 전문가가 포함된 128개의 라우팅 전문가와 함께 170억 개의 활성 파라미터를 사용합니다.
  • 두 모델 모두 텍스트와 비전 토큰을 원활하게 통합하기 위해 초기 융합을 활용하며, 다양한 텍스트, 이미지 및 비디오 데이터셋을 포함하여 30조 개 이상의 토큰으로 학습되었습니다.
  • 메타는 또한 MATH-500과 GPQA Diamond와 같은 STEM 벤치마크에서 GPT-4.5, Claude Sonnet 3.7, Gemini 2.0 Pro를 능가하는 교사 모델인 Llama 4 Behemoth도 미리 공개했습니다.

이번 출시는 차세대 소비자 및 비즈니스 애플리케이션 구축을 위해 개발자에게 효율적이고 고품질의 멀티모달 지능을 제공하기 위한 것입니다.