MetaはLlama 3.1を公開し、主力の405Bパラメータモデルとともに、アップグレードされた8Bおよび70Bバージョンを導入しました。同社は405Bモデルを世界で最大のオープンに利用可能な基盤モデルと位置づけ、一般的な知識、数学、ツール使用などの能力においてトップのクローズドAIモデルに匹敵すると主張しています。

  • Llama 3.1 405Bは、16,000台以上のH100 GPUを使用して15兆トークン以上でトレーニングされ、効率的な推論のために8ビット（FP8）数値に量子化されています。
  • アップグレードされた8Bおよび70Bモデルは、128Kのコンテキスト長、多言語サポート、改善された推論能力を備えています。
  • Metaはライセンスを更新し、開発者が合成データの生成や蒸留を通じて他のモデルの改善にモデル出力を使用できるようにしました。
  • パフォーマンス評価では、150以上のベンチマークデータセットにおいてGPT-4、GPT-4o、Claude 3.5 Sonnetと競争力があることが示唆されています。
  • リリースにはLlama Guard 3、Prompt Guard、およびコンポーネントインターフェースを標準化する「Llama Stack」の提案が含まれています。

このリリースは、データをMetaと共有せずにオンプレミスまたはローカルで実行できるカスタマイズ可能なウェイトを提供することで、開発者の障壁を下げることを目的としています。