inclusionAI выпустила систему Realtime-Venus на платформе Hugging Face, включающую два контрольных файла: Realtime-Venus-Omni и Realtime-Venus-Audio. Контрольный файл Omni представляет собой модель аудио-визуального взаимодействия на 9B параметров, адаптированную из MiniCPM-o 4.5, которая непрерывно наблюдает и слушает, чтобы решить, когда отвечать.
- Нативный полнодуплексный разговор позволяет модели воспринимать информацию во время говорения, различая фоновые реакции и перебивания.
- Взаимодействие Omni-Proactive инициирует ответы на основе синхронизированных по времени видео- и аудио-событий без ожидания пользовательского запроса.
- Делегирование отправляет запросы в потоке данных по общей каузальной временной шкале для выполнения внешних задач без блокировки разговора.
- Долговременная память длинных видео без дообучения сохраняет визуально информативные моменты и извлекает соответствующие доказательства без дополнительного обучения.
- Система генерирует как текстовый, так и речевой вывод с использованием встроенных ресурсов Token2wav.
Выпуск предоставляет инструменты для проактивного взаимодействия в реальном времени с обработкой семантических перебиваний и возможностями долговременной памяти.