Thinking Machines Labは、総パラメータ数2760億、アクティブパラメータ数120億のオープンウェイトMixture-of-ExpertsモデルであるInkling-Smallをリリースした。このモデルは、テキスト、画像、音声に対してネイティブに推論するように訓練されており、1Mトークンのコンテキストウィンドウと調整可能な思考努力(thinking effort)を特徴とする。
- Apache 2.0ライセンスでHugging Face上でウェイトが公開されており、BF16では600 GBのVRAMが必要だが、NVFP4量子化により要件は180 GBに削減される。
- アーキテクチャは42層のデコーダーレイヤーを使用し、各トークンは256個のエクスパートのうち6つと2つの共有エクスパートにルーティングされ、画像はパッチとして、音声はdMelスペクトログラムとして処理される。
- Inkling-Smallは、Humanity's Last Exam(31.6%対29.7%)やSWE-bench Verified(80.2%対77.6%)などの推論ベンチマークにおいて、より大きな教師モデルであるInklingを上回った。
- 事実の想起は大幅に後退し、SimpleQA VerifiedがInklingの43.9%から20.6%に低下したが、多モーダルスコアは大きなモデルに近い水準を維持した。
このリリースにより、スタートアップや企業が単一またはデュアルGPU構成で最先端性能を備えたモデルを自ホストできるようになり、コーディングエージェント、ターミナル自動化、コールセンター分析などのワークロードに対応する。