Un développeur a open-sourcé Speakrail, un agent vocal full-duplex entièrement local qui s'exécute sur une seule RTX 4090 et rivalise avec GPT-Live sur certains benchmarks. Le système combine Voxtral Realtime pour la reconnaissance vocale (speech-to-text), un modèle Gemma 4 12B finetuné sur des micro-tours, et Breeze TTS 2 pour permettre des interactions à faible latence avec interruptions et rétroactions.
- Le pipeline utilise une tête de prise de parole attachée à Voxtral Realtime et un déclenchement spéculatif LLM+TTS pour minimiser la latence.
- Le modèle de langage principal est Gemma 4 12B QAT, finetuné sur des données synthétiques avec des tokens de contrôle de micro-tour comme <interject> et <listen>.
- Un mécanisme « penser tout en parlant » permet à un Gemma 4 12B int4 de base d'écrire des notes de réflexion pour des tâches de raisonnement complexes.
- Le système prend en charge le mode silencieux et le mode interruption, permettant au modèle d'écouter ou de parler selon le contrôle explicite de l'utilisateur.
La publication offre une alternative respectueuse de la vie privée aux assistants vocaux basés sur le cloud pour les utilisateurs disposant de matériel local suffisant, bien qu'elle présente actuellement des limitations concernant la longueur du contexte et la licence commerciale du composant TTS.