MiniMax는 텍스트, 이미지, 비디오 및 오디오를 처리할 수 있는 오픈 가중치 멀티모달 비디오 생성 모델인 MiniMax H3를 출시했습니다. 이 모델은 오디오를 사후 처리 단계로 추가하는 대신 시각적 요소와 동기화된 스테레오 오디오(대화, 효과음, 환경음 및 음악 포함)를 함께 생성합니다.

  • ComfyUI 내에서 텍스트에서 비디오로, 이미지에서 비디오로, 첫 번째 및 마지막 프레임 생성, 참조 기반 생성을 지원합니다.
  • 오픈 가중치 체크포인트는 768p 해상도에서 최대 15초 길이의 클립을 허용합니다.
  • 모델의 호스팅 버전은 최대 2K 해상도에서의 생성을 지원합니다.
  • 단일 아키텍처 내에서 여러 생성 작업 전반의 효율성을 향상시키기 위해 고통축 비디오 표현을 활용합니다.

이번 출시로 개발자는 ComfyUI를 통해 모델을 로컬에 설정하여 통합 시각 및 오디오 합성을 수행할 수 있습니다.