يوفر إطار العمل مفتوح المصدر Audient طبقة إدراك صوت محلي لوكلاء LLM يعالجون الصوت باستمرار ويبنون ذاكرة للمفاهيم من خلال الاستخدام. يستخدم تضمينات CLAP وWhisper وSilero VAD وsqlite-vec لتصفية وبصمة وتعرف على أحداث الصوت دون الحاجة إلى مكالمات LLM مستمرة.
- يقوم النظام بتصفية تدفقات الصوت المستمرة باستخدام الطاقة والجدة وSilero VAD لتحديد المناطق المرشحة.
- يولد بصمات عبر تضمينات CLAP وميزات رمزية مثل الشكل الطيفي والانحراف الزمني.
- يقوم فهرس sqlite-vec بحساب التشابه جيب التمام الأعلى k ضد المفاهيم المتعلمة، مما يطلق تطابقات جانب الخادم عند معايرتها.
- يتم وضع الأحداث غير المعروفة في قائمة الانتظار للتسمية، مما يسمح بإضافة مفاهيم جديدة دون إعادة تدريب النموذج.
يتيح هذا النهج للوكلاء الاستجابة للأصوات غير المتوقعة مثل الاصطدامات أو الإنذارات من خلال التفكير في طبقات رمزية بدلاً من الصوت الخام.