オープンソースフレームワークのAudientは、LLMエージェントに対して継続的に音声を処理し、使用を通じて概念のメモリを構築するローカルの音声知覚レイヤーを提供します。これは、CLAP埋め込み、Whisper、Silero VAD、sqlite-vecを使用して、LLMへの呼び出しを常に必要とせずに音声イベントのゲート、指紋作成、認識を行います。

  • システムは、エネルギー、新奇性、およびSilero VADを使用して連続した音声ストリームをゲートし、候補領域を特定します。
  • CLAP埋め込みやスペクトル形状や時間的ドリフトのような記号的特徴を通じて指紋を生成します。
  • sqlite-vecインデックスは学習された概念に対してトップkコサイン類似度を実行し、較正された場合にサーバー側の一致を発火させます。
  • 認識されないイベントはラベル付けのためにキューに入れられ、モデルの再トレーニングなしで新しい概念を追加することができます。

このアプローチにより、エージェントは衝突やアラームのような予期せぬ音に対して、生音声ではなく記号的レイヤーを推論することで対応できます。