Audient이 LLM 오디오 지각에 성장하는 개념 메모리를 추가

오픈소스 프레임워크 Audient는 지속적으로 소리를 처리하고 사용을 통해 개념의 메모리를 구축하는 LLM 에이전트를 위한 로컬 오디오 지각 레이어를 제공합니다. 이는 CLAP 임베딩, Whisper, Silero VAD 및 sqlite-vec을 사용하여 상수 LLM 호출 없이 오디오 이벤트를 게이트팅, 지문 생성 및 인식합니다.

• 시스템은 에너지, 신규성 및 Silero VAD를 사용하여 연속 오디오 스트림을 게이트하고 후보 영역을 식별합니다.
• CLAP 임베딩과 스펙트럼 형태 및 시간적 드리프트와 같은 기호적 특징을 통해 지문을 생성합니다.
• sqlite-vec 인덱스는 학습된 개념에 대해 상위 k 코사인 유사도를 수행하며, 보정되었을 때 서버 측 매치를 발동합니다.
• 인식되지 않은 이벤트는 레이블링을 위해 큐에 추가되며, 모델 재학습 없이 새로운 개념을 추가할 수 있습니다.

이 접근 방식은 에이전트가 충돌이나 알람과 같은 예기치 않은 소리에 대해 원시 오디오가 아닌 기호적 레이어를 추론하여 반응할 수 있게 합니다.