El framework de código abierto OpenLumara ahora admite la conexión a cualquier interfaz de usuario que pueda comunicarse con un endpoint de OpenAI, como KoboldLite y OpenWebUI. Esta actualización permite a los usuarios integrar el marco eficiente en tokens en sus flujos de trabajo existentes sin cambiar su frontend preferido.
- La arquitectura enruta las solicitudes desde UIs como KoboldLite a través del puente API de OpenLumara en el puerto 8000 hacia backends como LlamaCPP o KoboldCPP.
- OpenLumara está diseñado específicamente para modelos locales, reinventando las convenciones típicas utilizadas para APIs en la nube para manejar mejor los peculiaridades de la inferencia local.
- Los usuarios pueden personalizar la experiencia colapsando los encabezados de pensamiento a través de la configuración del canal del puente API.
Esta integración permite a los usuarios aprovechar las mejoras de eficiencia de OpenLumara en una amplia variedad de interfaces compatibles.