Thinking Machines Labは、Inklingをローンチしました。これは同社が初めて完全に公開したオープンウェイトの基盤モデルファミリーです。ベンチマーク最大値を誇るフラッグシップではなく、カスタマイズ可能なマルチモーダルベースモデルとして位置づけられ、Inklingはネイティブなマルチモーダリティでテキスト、画像、音声の入力をサポートします。

  • Inklingは975BパラメータのMixture-of-Expertsモデルで、トークンあたり41Bのパラメータがアクティブになり、Apache 2.0ライセンスの下で提供されます。
  • このモデルは約45Tトークンからスクラッチで学習され、オープンウェイトチェックポイントで最大1Mのコンテキスト長をサポートします。
  • アーキテクチャの特徴には、ハイブリッドスライディングウィンドウアテンション、相対位置エンコーディング、短い畳み込み層、そしてMuon/AdamCオプティマイザーが含まれます。
  • InklingはIntelligence Indexで41のスコアを記録し、Nemotron 3 UltraやGemma 4に先行して米国オープンウェイトリリースで首位となりました。

今回のリリースでは、Tinker経由での即時ファインチューニングサポートと、vLLMやHugging Faceのようなツールとの広範なエコシステム互換性が提供されます。