OpenLumara가 OpenAI 엔드포인트를 통해 모든 UI와 로컬 모델을 연결

오픈 소스 프레임워크인 OpenLumara는 이제 KoboldLite 및 OpenWebUI와 같이 OpenAI 엔드포인트와 통신할 수 있는 모든 사용자 인터페이스와의 연결을 지원합니다. 이 업데이트를 통해 사용자는 선호하는 프론트엔드를 변경하지 않고 토큰 효율적인 하네스를 기존 워크플로우에 통합할 수 있습니다.

• 아키텍처는 KoboldLite와 같은 UI에서의 요청을 포트 8000의 OpenLumara API 브리지를 통해 LlamaCPP 또는 KoboldCPP와 같은 백엔드로 라우팅합니다.
• OpenLumara는 로컬 모델을 위해 특별히 설계되었으며, 클라우드 API에 일반적으로 사용되는 관례를 재정의하여 로컬 추론의 특이점을 더 잘 처리합니다.
• 사용자는 API 브리징 채널 설정을 통해 사고 헤더를 축소하여 경험을 사용자 정의할 수 있습니다.

이 통합을 통해 사용자는 다양한 호환 가능한 인터페이스 전반에 걸쳐 OpenLumara의 효율성 개선을 활용할 수 있습니다.