llama.cpp परियोजना ने संस्करण b9909 जारी किया है, जो /responses API स्ट्रीम में समय और प्रगति की जानकारी पेश करता है। यह अपडेट कई प्लेटफॉर्म पर उपलब्ध है, जिनमें macOS, Linux, Windows, Android और openEuler शामिल हैं।
- प्राथमिक कार्यात्मक परिवर्तन /responses API एंडपॉइंट के लिए स्ट्रीमिंग आउटपुट में टाइमिंग और प्रगति विवरण का जोड़ना है।
- Apple Silicon, Intel x64, ARM64 और s390x जैसी विभिन्न आर्किटेक्चर के लिए पूर्व-निर्मित बाइनरी प्रदान की गई हैं।
- GPU समर्थन में CUDA 12.4 और 13.3, Vulkan, ROCm 7.2, OpenVINO, SYCL और HIP शामिल हैं।
- इस रिलीज़ में macOS Apple Silicon के लिए KleidiAI समर्थन अक्षम कर दिया गया है।
यह अपडेट उपयोगकर्ताओं को API प्रतिक्रियाओं की प्रगति को अधिक प्रभावी ढंग से निगरानी करने की अनुमति देता है।