スイスのAI企業は、マルチモーダル機能と新しい推論機能を導入する8Bおよび70Bパラメータの言語モデルファミリーであるApertus 1.5をリリースしました。このアップデートでは、8Bモデル用に4Tトークン、70Bモデル用に2Tトークンの追加マルチモーダルミックスで継続的な事前トレーニングが行われています。

  • テキスト応答を生成するために、画像、音声、テキストを含むマルチモーダル入力に対応。
  • モデルが入力に対して推論を行ってから応答を生成できる「思考モード」を導入。
  • デフォルトのコンテキスト長を262,144トークンに拡大し、Apertus 1.0の4倍に。
  • 改善されたポストトレーニングレシピを通じて、指示のフォローやツール使用機能を強化。
  • 幅広い言語をサポートしつつ、完全にオープンな重み、データ、トレーニング詳細を維持。

今回のリリースは、開発者に多様なインタラクションオプションと推論タスクにおけるパフォーマンス向上を提供することで、多言語・マルチモーダルかつ透明性の高いAIの発展を目指しています。