Mistralは、総パラメータ数が1兆個、アクティブパラメータ数が490億個の大規模言語モデル「Mistral Large 4」をリリースしました。

  • このモデルは、そのスケールを実現するためにMixture of Expertsアーキテクチャを利用しています。
  • モデルのオープンウェightsは月末にリリースされる予定です。

このリリースは、以前のバージョンと比較して大幅に大きなパラメータ数で、競争環境へのMistralの復帰を示しています。