Thinking Machines Labは、トークン効率的な推論とテキスト、画像、音声入力のネイティブな理解のために設計された新しいマルチモーダルMixture-of-ExpertsモデルであるInklingをリリースしました。Together AIはこのモデルを推論プラットフォームで提供し、day-zeroアクセスを提供しています。

  • Inklingは975Bの総パラメータと40Bのアクティブパラメータ（トークンあたり）、1Mのコンテキストウィンドウを備えています。
  • アーキテクチャはクエリ条件付き相対アテンション、短い因果畳み込み、共有エキスパートシンクを使用して効率的な実行を実現します。
  • 推論努力の制御が可能で、開発者は推論深度、レイテンシ、トークン使用量を調整できます。
  • 初期評価では、科学推論、数学、コーディング、予測タスクで強力なパフォーマンスを示しています。
  • テキスト、画像、音声入力を統合されたデコーダスタックで受け取り、テキスト出力を生成します。

開発者はTogether AI ServerlessとOpenAI互換APIを通じてInklingにアクセスでき、インフラストラクチャの管理なしでマルチモーダルアプリケーションを作成できます。