开源框架 Audient 为 LLM 代理提供本地音频感知层，持续处理声音并通过使用构建概念记忆。它使用 CLAP embeddings、Whisper、Silero VAD 和 sqlite-vec 来过滤、生成指纹并识别音频事件，而无需进行频繁的 LLM 调用。

  • 系统利用能量、新颖性和 Silero VAD 对连续音频流进行门控，以识别候选区域。
  • 通过 CLAP embeddings 以及谱形状和时间漂移等符号特征生成指纹。
  • sqlite-vec 索引对已学习的概念执行 top-k 余弦相似度计算，在校准后触发服务器端匹配。
  • 未识别的事件被排队等待标注，允许在不重新训练模型的情况下添加新概念。

这种方法使代理能够通过推理符号层而非原始音频来对碰撞或警报等意外声音做出反应。