Kerangka kerja sumber terbuka Audient menyediakan lapisan persepsi audio lokal untuk agen LLM yang secara terus-menerus memproses suara dan membangun memori konsep melalui penggunaan. Ini menggunakan embedding CLAP, Whisper, Silero VAD, dan sqlite-vec untuk gerbang, sidik jari, dan mengenali peristiwa audio tanpa memerlukan panggilan LLM yang konstan.
- Sistem menggerbangkan aliran audio kontinu menggunakan energi, kebaruan, dan Silero VAD untuk mengidentifikasi wilayah kandidat.
- Ia menghasilkan sidik jari melalui embedding CLAP dan fitur simbolik seperti bentuk spektral dan drift temporal.
- Indeks sqlite-vec melakukan kesamaan kosinus top-k terhadap konsep yang dipelajari, memicu kecocokan sisi server ketika dikalibrasi.
- Peristiwa yang tidak dikenali antri untuk pelabelan, memungkinkan konsep baru ditambahkan tanpa melatih ulang model.
Pendekatan ini memungkinkan agen bereaksi terhadap suara tak terduga seperti tabrakan atau alarm dengan bernalar di atas lapisan simbolik daripada audio mentah.