Фреймворк с открытым исходным кодом OpenLumara теперь поддерживает подключение к любому пользовательскому интерфейсу, способному взаимодействовать с endpoint OpenAI, таким как KoboldLite и OpenWebUI. Это обновление позволяет пользователям интегрировать эффективный по количеству токенов инструмент в свои существующие рабочие процессы без изменения предпочитаемого фронтенда.
- Архитектура маршрутизирует запросы от UI, таких как KoboldLite, через API-мост OpenLumara на порту 8000 к бэкендам, таким как LlamaCPP или KoboldCPP.
- OpenLumara специально разработан для локальных моделей, переосмысливая соглашения, обычно используемые для облачных API, чтобы лучше справляться с особенностями локального вывода.
- Пользователи могут настраивать процесс, сворачивая заголовки размышлений через настройки канала API-моста.
Эта интеграция позволяет пользователям использовать улучшения эффективности OpenLumara в широком спектре совместимых интерфейсов.