Thinking Machines Labは、ファインチューニング用にオープンウェイトが利用可能な、ゼロからトレーニングされた初のモデルであるInklingをリリースしました。このモデルは、合計975Bパラメータと41Bのアクティブパラメータを持つMixture-of-Expertsトランスフォーマーで、最大1Mトークンのコンテキストウィンドウをサポートします。

  • プレトレーニングには、テキスト、画像、音声、ビデオデータの45兆トークンが使用されました。
  • テキスト、画像、音声の入力を受け付けますが、出力はUTF-8テキストのみです。
  • アーキテクチャには、DeepSeek-V3の設計に従ったスパースMoEフィードフォワード層を持つ66層のデコーダー専用トランスフォーマーが含まれています。
  • Inklingは制御可能な思考努力機能を備えており、ユーザーはシステムメッセージやAPI引数を通じてトークン予算を調整できます。

同等のTerminal Bench 2.1パフォーマンスに対して、Nemotron 3 Ultraよりも3分の1のトークン数で動作します。

より小型のバリアントであるInkling-Small（合計276B、アクティブ12B）がテスト中で、後ほどウェイトが公開されます。

このモデルは、制御可能な努力メカニズムを通じて呼び出しごとのコストとレイテンシーを調整可能であり、カスタマイズやエージェントパイプラインの基盤として位置づけられています。