Thinking Machinesは、Hugging Faceで公開されている大規模なオープンソースのマルチモーダル言語モデル「Inkling」をリリースしました。このモデルは、テキスト、画像、音声の入力をネイティブに処理します。モデルは総パラメータ数が約1兆個、アクティブなパラメータ数が410億個で、モダリティ間の推論をサポートするために45兆トークンでトレーニングされています。

  • アーキテクチャ: 256のエキスパートを持つデコーダー専用Mixture-of-Experts (MoE)モデルで、相対アテンション、ハイブリッドなグローバル/スライディングウィンドウアテンション、および短い1D畳み込みを利用しています。
  • コンテキストと推論: 100万トークンのコンテキストウィンドウをサポートし、より高速な推論のための speculative MTP層を含みます。BF16およびNVFP4バリアントが利用可能です。
  • デプロイメント: Hugging Face Transformers、SGLang、vLLM、llama.cppに対してday-0サポートを提供し、VRAM要件はBF16で2 TB、NVFP4で600 GBです。

このモデルは、ファインチューニングを通じてドメイン適応を行い、マルチモーダル推論アプリケーションを構築することを意図しています。