El marco de código abierto Audient proporciona una capa de percepción de audio local para agentes LLM que procesa continuamente el sonido y construye una memoria de conceptos mediante su uso. Utiliza CLAP embeddings, Whisper, Silero VAD y sqlite-vec para filtrar, identificar y reconocer eventos de audio sin requerir llamadas constantes a LLM.
- El sistema filtra flujos de audio continuos utilizando energía, novedad y Silero VAD para identificar regiones candidatas.
- Genera huellas digitales mediante CLAP embeddings y características simbólicas como la forma espectral y la deriva temporal.
- Un índice sqlite-vec realiza una similitud coseno top-k contra conceptos aprendidos, activando coincidencias en el servidor cuando está calibrado.
- Los eventos no reconocidos se ponen en cola para etiquetado, permitiendo añadir nuevos conceptos sin reentrenar el modelo.
Este enfoque permite a los agentes reaccionar a sonidos inesperados como choques o alarmas razonando sobre capas simbólicas en lugar de audio crudo.