O framework de código aberto Audient fornece uma camada de percepção de áudio local para agentes LLM que processa continuamente o som e constrói uma memória de conceitos por meio do uso. Ele utiliza CLAP embeddings, Whisper, Silero VAD e sqlite-vec para filtrar, gerar impressão digital e reconhecer eventos de áudio sem exigir chamadas constantes ao LLM.
- O sistema filtra fluxos de áudio contínuos usando energia, novidade e Silero VAD para identificar regiões candidatas.
- Gera impressões digitais por meio de CLAP embeddings e características simbólicas como forma espectral e deriva temporal.
- Um índice sqlite-vec realiza similaridade cosseno top-k contra conceitos aprendidos, disparando correspondências no servidor quando calibrado.
- Eventos não reconhecidos são enfileirados para rotulagem, permitindo que novos conceitos sejam adicionados sem retreinar o modelo.
Esta abordagem permite que agentes reajam a sons inesperados como colisões ou alarmes, raciocinando sobre camadas simbólicas em vez de áudio bruto.