llama.cpp प्रोजेक्ट ने संस्करण b9923 जारी किया, जिसमें Server-Sent Events (SSE) रीप्ले बफर से जुड़ी समस्याओं को दूर करने के लिए server-stream घटक का एक महत्वपूर्ण रिफैक्टर शामिल है। इस अपडेट में pimpl पैटर्न पेश किया गया है और कोड संरचना को बेहतर बनाने के लिए सार्वजनिक स्ट्रीम फ़ंक्शन्स को `server_stream_` प्रीफिक्स के तहत समूहित किया गया है।
- सत्र और मैनेजर की स्थिति अब एक म्यूटेक्स द्वारा सुरक्षित है, condvar प्रेडिकेट लॉक के तहत सेट किए जाते हैं जबकि रद्द करना अटॉमिक बनाए रखता है ताकि लॉक-फ्री पोलिंग संभव हो।
- टिप्पणियों को काटकर संवाद, जीवनकाल और क्रम की तर्कसंगतता पर ध्यान केंद्रित किया गया है, उन टिप्पणियों को हटा दिया गया है जो केवल कोड को दोहराती हैं।
- स्ट्रीम ट्रैस को डिबग स्तर पर ले जाया गया है ताकि ब्रिंग-अप डायग्नोस्टिक्स के दौरान डिफ़ॉट लॉग शोर कम हो।
- `stream_read_status` enum को .cpp फ़ाइल में ले जाया गया है ताकि यह pimpl सीमा के पीछे रहे।
रिलीज़ में macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) और openEuler के लिए बाइनरी शामिल हैं।