Фреймворк с открытым исходным кодом Audient предоставляет локальный слой аудио восприятия для агентов LLM, который непрерывно обрабатывает звук и формирует память концепций на основе опыта. Он использует CLAP embeddings, Whisper, Silero VAD и sqlite-vec для фильтрации, создания отпечатков и распознавания аудио событий без необходимости постоянных вызовов LLM.

  • Система фильтрует непрерывные аудиопотоки с использованием энергии, новизны и Silero VAD для выявления кандидатных участков.
  • Отпечатки генерируются через CLAP embeddings и символические признаки, такие как спектральная форма и временной дрейф.
  • Индекс sqlite-vec выполняет поиск top-k косинусного сходства по изученным концепциям, активируя серверные совпадения при калибровке.
  • Нераспознанные события ставятся в очередь для маркировки, что позволяет добавлять новые концепции без переобучения модели.

Этот подход позволяет агентам реагировать на неожиданные звуки, такие как удары или сигналы тревоги, рассуждая на уровне символических представлений, а не сырых аудиоданных.