inclusionAI는 Hugging Face에 Realtime-Venus 시스템을 출시했으며, 여기에는 두 가지 체크포인트인 Realtime-Venus-Omni와 Realtime-Venus-Audio가 포함되어 있습니다. Omni 체크포인트는 MiniCPM-o 4.5에서 파생된 9B 오디오-비주얼 상호작용 모델로, 지속적으로 관찰하고 듣다가 응답할 시점을 결정합니다.

  • 네이티브 풀듀플렉스 대화를 통해 모델은 말하면서도 지각하며, 백채널과 인터럽션을 구분합니다.
  • Omni-Proactive 상호작용은 사용자 프롬프트를 기다리지 않고 시간적으로 정렬된 비디오 및 오디오 이벤트를 기반으로 응답을 시작합니다.
  • 위임은 공유 인과적 타임라인에서 스트림 내 요청을 방출하여 대화를 차단하지 않고 외부 작업을 처리합니다.
  • 학습 없는 긴 비디오 메모리는 시각적으로 정보적인 순간을 아카이브하고 추가 학습 없이 관련 증거를 검색합니다.
  • 시스템은 번들된 Token2wav 리소스를 사용하여 텍스트와 음성 출력을 모두 생성합니다.

이 출시물은 의미론적 인터럽션 처리 및 장기 기억 기능을 갖춘 능동형 실시간 오디오-비주얼 상호작용을 위한 도구를 제공합니다.