ओपन-सोर्स फ्रेमवर्क Audient LLM एजेंट्स के लिए एक स्थानीय ऑडियो धारणा परत प्रदान करता है जो लगातार ध्वनि को प्रोसेस करता है और उपयोग के माध्यम से अवधारणाओं की मेमोरी बनाता है। यह निरंतर LLM कॉल की आवश्यकता के बिना ऑडियो इवेंट्स को गेट, फिंगरप्रिंट और पहचानने के लिए CLAP embeddings, Whisper, Silero VAD और sqlite-vec का उपयोग करता है।
- सिस्टम एनर्जी, नोवेल्टी और Silero VAD का उपयोग करके लगातार ऑडियो स्ट्रीम को गेट करता है ताकि उम्मीदवार क्षेत्रों की पहचान की जा सके।
- यह CLAP embeddings और स्पेक्ट्रल शेप और टेम्पोरल ड्रिफ्ट जैसे प्रतीकात्मक फीचर्स के माध्यम से फिंगरप्रिंट उत्पन्न करता है।
- एक sqlite-vec इंडक्स सीखी गई अवधारणाओं के खिलाफ top-k कोसाइन सिमिलैरिटी करता है, जब कैलिब्रेटेड होता है तो सर्वर-साइड मिलान फायर करता है।
- अज्ञात इवेंट्स लेबलिंग के लिए क्यू में डाल दिए जाते हैं, जिससे मॉडल को रीट्रेन किए बिना नई अवधारणाएँ जोड़ी जा सकती हैं।
यह दृष्टिकोण एजेंट्स को क्रैश या अलार्म जैसे अप्रत्याशित ध्वनियों के लिए प्रतिक्रिया करने की अनुमति देता है, कच्चे ऑडियो के बजाय प्रतीकात्मक परतों पर तर्क करके।