Mira MuratiのThinking Machines Labは、初のオープンウェイトマルチモーダルモデルであるInklingをリリースしました。このモデルは、975Bの総パラメータと41Bのアクティブパラメータを持つMixture-of-Expertsトランスフォーマーで、テキスト、画像、音声、ビデオの45兆トークンでトレーニングされています。

  • Apache-2.0ライセンスの下、Inklingは最先端の推論モデルではなく、ラボのTinkerプラットフォームを介したファインチューニング用の強力なベースモデルとして位置づけられています。
  • より小さなバリアントであるInkling-Small（総数276B、アクティブ12B）は現在テスト中で、完了後にウェイトがリリースされる予定です。
  • トレーニングデータのドキュメントには、パブリックドメインのコンテンツとオープンインターネットおよびサードパーティから入手可能なパブリックデータの使用について記載されています。

今回のリリースは、マルチモーダル機能と効率的な思考を提供し、オープンウェイトエコシステムに対して viable な米国の競合他社を提供することを目的としています。