लेखक ने brAIn जारी किया है, जो एक ओपन-सोर्स एजेंट फ्रेमवर्क है जो पारंपरिक पॉलिंग लूप को स्थानीय मॉडलों पर पूरी तरह से चलने वाली प्रतिक्रियाशील आर्किटेक्चर से बदल देता है। नोड्स एम्बेडेड NATS pub/sub बस पर डेमन के रूप में काम करते हैं, और निश्चित अंतराल के बजाय केवल तभी मॉडल को कॉल करते हैं जब सब्सक्राइब किए गए संदेश आते हैं।
- सिस्टम लगातार "क्या करने के लिए कुछ है?" क्वेरी से बचकर GPU की निष्क्रिय उपयोग को समाप्त करता है, जिससे संदेशों के बीच लागत शून्य हो जाती है।
- हर जागने के लिए एक इट्रेशन बजट भ्रमित मॉडलों को अनंत लूप में GPU को घूमने से रोकता है।
- उपयोगकर्तर भारी कार्यभार को कई मशीनों पर वितरित कर सकते हैं, जैसे कि निगरानी के लिए MacBook और प्रोसेसिंग के लिए RTX 4090 वाले PC का उपयोग करना।
- फ्रेमवर्क में एक लाइव डैशबोर्ड, Telegram, WhatsApp और Discord के लिए ब्रिज शामिल हैं, और Claude या Codex जैसे बाहरी कोडिंग CLIs से कनेक्ट करने का समर्थन करता है।
यह दृष्टिकोण मानक एजेंट फ्रेमवर्क्स की अक्षमता को हल करने के लिए है, यह सुनिश्चित करते हुए कि वास्तविक कार्य की आवश्यकता होने पर ही कंप्यूटेशनल संसाधनों का उपभोग किया जाए।