Разработчик открыл исходный код Speakrail, полностью локального полнодуплексного голосового агента, работающего на одной RTX 4090 и сопоставимого с GPT-Live по некоторым бенчмаркам. Система объединяет Voxtral Realtime для преобразования речи в текст, модель Gemma 4 12B, дообученную на микроповоротах, и Breeze TTS 2 для обеспечения взаимодействия с низкими задержками, включая перебивания и обратную связь.
- Конвейер использует голову управления очередью, прикрепленную к Voxtral Realtime, и спекулятивный запуск LLM+TTS для минимизации задержек.
- Базовая языковая модель — Gemma 4 12B QAT, дообученная на синтетических данных с токенами управления микроповоротами, такими как <interject> и <listen>.
- Механизм "думай во время разговора" позволяет базовой модели Gemma 4 12B int4 писать заметки для сложных задач рассуждения.
- Система поддерживает тихий режим и режим перебивания, позволяя модели слушать или говорить в зависимости от явного контроля пользователя.
Выпуск предоставляет альтернативу облачным голосовым ассистентам с сохранением конфиденциальности для пользователей с достаточным локальным оборудованием, хотя в настоящее время существуют ограничения относительно длины контекста и коммерческого лицензирования компонента TTS.