한 사용자가 INT4 양자화를 사용하여 NVIDIA의 640억 파라미터 Cosmos3 모델을 로컬에서 실행하기 위한 코드와 가중치를 게시했습니다. 이 구현은 Apple Silicon에서 MLX를 통해, 그리고 CUDA에서도 텍스트-투-이미지 및 이미지-투-비디오 작업을 지원합니다.

  • 저장소에는 Cosmos3-Super-Text2Image-4Step-INT4-G64-BF16 모델에 대한 GitHub 코드와 Hugging Face 가중치가 제공됩니다.
  • 양자화를 통해 64B 파라미터의 대규모 모델을 소비자용 하드웨어에서 실행할 수 있으며, 128 GB 메모리가 탑재된 M4 Max Mac에서는 클립 생성에 약 5분이 소요됩니다.
  • 이 프로젝트에는 성능 능력을 시연하기 위한 Grok와의 비교가 포함되어 있습니다.

이 릴리스는 일반적으로 완전 정밀도 가중치에 필요한 VRAM이 부족한 장치에서도 최신 이미지 생성 모델의 로컬 추론을 가능하게 합니다.