O framework de código aberto OpenLumara agora suporta conexão com qualquer interface de usuário que possa se comunicar com um endpoint da OpenAI, como KoboldLite e OpenWebUI. Esta atualização permite que os usuários integrem o harness eficiente em tokens em seus fluxos de trabalho existentes sem alterar seu frontend preferido.
- A arquitetura roteia solicitações de UIs como KoboldLite através da ponte API do OpenLumara na porta 8000 para backends como LlamaCPP ou KoboldCPP.
- O OpenLumara é projetado especificamente para modelos locais, reinventando convenções tipicamente usadas para APIs em nuvem para lidar melhor com as peculiaridades da inferência local.
- Os usuários podem personalizar a experiência colapsando os cabeçalhos de pensamento através das configurações do canal da ponte API.
Esta integração permite que os usuários aproveitem as melhorias de eficiência do OpenLumara em uma ampla variedade de interfaces compatíveis.