开源框架 OpenLumara 现在支持与任何能够与 OpenAI 端点通信的用户界面连接,例如 KoboldLite 和 OpenWebUI。此更新允许用户将节省 token 的框架集成到现有工作流程中,而无需更改首选的前端。
- 该架构通过端口 8000 上的 OpenLumara API 桥接器,将来自 KoboldLite 等 UI 的请求路由到 LlamaCPP 或 KoboldCPP 等后端。
- OpenLumara 专为本地模型设计,重新定义了通常用于云 API 的惯例,以更好地处理本地推理的怪癖。
- 用户可以通过 API 桥接通道设置折叠思考标题来自定义体验。
此集成使用户能够在各种兼容界面中利用 OpenLumara 的效率改进。