あるユーザーが、INT4量子化を使用してNVIDIAの640億パラメータCosmos3モデルをローカルで実行するためのコードと重みを公開しました。この実装は、Apple Silicon上でのMLX経由およびCUDA上で、テキストから画像への変換と画像から動画への変換のタスクをサポートしています。

  • リポジトリには、Cosmos3-Super-Text2Image-4Step-INT4-G64-BF16モデルのGitHubコードとHugging Faceの重みが提供されています。
  • 量子化により、64Bパラメータの大規模モデルをコンシューマー向けハードウェアで実行可能になり、128 GBメモリ搭載のM4 Max Macではクリップ生成に約5分かかります。
  • このプロジェクトには、パフォーマンス能力を示すためのGrokとの比較が含まれています。

このリリースにより、通常フル精度の重みに必要なVRAMを欠くデバイスでも、最先端の画像生成モデルのローカル推論が可能になります。