llama.cpp परियोजना ने संस्करण b10313 जारी किया है, जिसने इसके सर्वर घटक के लिए एक नवीनतम उपयोग किए गए (LRU) शेड्यूलर को पेश किया है। इस अपडेट में अनुरोध कोalescense का प्रबंधन और स्ट्रीमिंग मामलों के लिए ठीक शामिल हैं।
- सर्वर अब कनेक्शन प्रबंधित करने के लिए एक LRU शेड्यूलर का समर्थन करता है।
- प्रतीक्षा कतार से बाहर निकलने को संभालने के लिए अनुरोध coalescense तर्क लागू किया गया है।
- नए शेड्यूलिंग व्यवहार की पुष्टि करने के लिए परीक्षण जोड़े गए हैं।
- स्ट्रीम मामले को प्रभावित करने वाले एक बग को ठीक किया गया है।
यह रिलीज़ CPU, CUDA, Vulkan, ROCm और OpenVINO सहित विभिन्न हार्डवेयर बैकएंड्स के लिए macOS, Linux, Windows, Android और iOS के लिए अद्यतन बाइनरी प्रदान करती है।