OpenLumara kini menghubungkan UI apa pun ke model lokal melalui endpoint OpenAI

Kerangka kerja open source OpenLumara kini mendukung koneksi ke antarmuka pengguna apa pun yang dapat berkomunikasi dengan endpoint OpenAI, seperti KoboldLite dan OpenWebUI. Pembaruan ini memungkinkan pengguna untuk mengintegrasikan harness hemat token ke dalam alur kerja mereka yang ada tanpa mengubah frontend pilihan mereka.

• Arsitektur merutekan permintaan dari UI seperti KoboldLite melalui jembatan API OpenLumara di port 8000 ke backend seperti LlamaCPP atau KoboldCPP.
• OpenLumara dirancang khusus untuk model lokal, menciptakan kembali konvensi yang biasanya digunakan untuk API cloud untuk menangani kekhasan inferensi lokal dengan lebih baik.
• Pengguna dapat menyesuaikan pengalaman dengan meruntuhkan header pemikiran melalui pengaturan saluran jembatan API.

Integrasi ini memungkinkan pengguna memanfaatkan peningkatan efisiensi OpenLumara di berbagai antarmuka yang kompatibel.