Le framework open-source Audient fournit une couche de perception audio locale pour les agents LLM qui traite continûment le son et construit une mémoire de concepts par l'usage. Il utilise les embeddings CLAP, Whisper, Silero VAD et sqlite-vec pour filtrer, empreinter et reconnaître les événements audio sans nécessiter d'appels constants aux LLM.
- Le système filtre les flux audio continus en utilisant l'énergie, la nouveauté et Silero VAD pour identifier les régions candidates.
- Il génère des empreintes via les embeddings CLAP et des caractéristiques symboliques telles que la forme spectrale et la dérive temporelle.
- Un index sqlite-vec effectue une similarité cosinus top-k contre les concepts appris, déclenchant des correspondances côté serveur lorsqu'elles sont calibrées.
- Les événements non reconnus sont mis en file d'attente pour l'étiquetage, permettant l'ajout de nouveaux concepts sans réentraîner le modèle.
Cette approche permet aux agents de réagir à des sons inattendus comme des crashes ou des alarmes en raisonnant sur des couches symboliques plutôt que sur l'audio brut.