Le framework open source OpenLumara prend désormais en charge la connexion à n'importe quelle interface utilisateur capable de communiquer avec un point de terminaison OpenAI, tel que KoboldLite et OpenWebUI. Cette mise à jour permet aux utilisateurs d'intégrer le harnais efficace en tokens dans leurs workflows existants sans modifier leur frontend préféré.
- L'architecture route les requêtes des interfaces utilisateur comme KoboldLite via le pont API d'OpenLumara sur le port 8000 vers des backends comme LlamaCPP ou KoboldCPP.
- OpenLumara est conçu spécifiquement pour les modèles locaux, réinventant les conventions généralement utilisées pour les APIs cloud afin de mieux gérer les particularities de l'inférence locale.
- Les utilisateurs peuvent personnaliser l'expérience en réduisant les en-têtes de réflexion via les paramètres du canal du pont API.
Cette intégration permet aux utilisateurs de tirer parti des améliorations d'efficacité d'OpenLumara sur une grande variété d'interfaces compatibles.