作者发布了 brAIn,这是一个开源智能体框架,用完全在本地模型上运行的响应式架构取代了传统的轮询循环。节点作为守护进程运行在嵌入式 NATS pub/sub 总线上,仅在收到订阅消息时调用模型,而不是按固定间隔调用。

  • 该系统通过避免持续的“有什么事要做吗?”查询消除了 GPU 的空闲使用,确保消息之间的成本为零。
  • 每次唤醒的迭代预算可防止混乱的模型让 GPU 陷入无限循环。
  • 用户可以将繁重的工作负载分布在多台机器上,例如使用 MacBook 进行监控,使用配备 RTX 4090 的 PC 进行处理。
  • 该框架包括实时仪表板、Telegram、WhatsApp 和 Discord 的桥接,并支持连接到外部编码 CLI,如 Claude 或 Codex。

这种方法旨在通过确保仅在需要实际工作时才消耗计算资源来解决标准智能体框架的低效问题。