llama.cpp b9864 रिलीज़ सर्वर के Server-Sent Events (SSE) हैंडलिंग में एक बदलाव लाती है, जिससे पिंग अंतराल को प्रति-अनुरोध आधार पर कॉन्फ़िगर किया जा सकता है। यह अपडेट सुनिश्चित करता है कि धीमे prefill ऑपरations स्वस्थ कनेक्शन को न गिराएं, हर 1 सेकंड में मौन स्ट्रीम्स को पिंग करके और केवल 3 सेकंड बाद उन्हें बाहर निकालकर।
- sse_ping_interval का वैश्विक डिफ़ॉल्ट 30 पर वापस आ जाता है, जबकि WebUI अनुरोध बॉडी में sse_ping_interval: 1 भेजते हुए API क्लाइंट व्यवहार को बनाए रखता है।
- फ़ील्ड अब एक टाइप्ड field_num है जिसके कठोर सीमा (-1, INT32_MAX) task_params से बंधी हैं, जो मुफ़्त प्रकार और रेंज सत्यापन प्रदान करती हैं।
- macOS बिल्ड में Apple Silicon (arm64), Intel (x64), और iOS XCFramework शामिल हैं, जहाँ KleidiAI अक्षम है।
- Linux बाइनरी Ubuntu x64 और arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16) के लिए उपलब्ध हैं।
- Windows CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, और HIP का समर्थन करता है।
- Android arm64 (CPU) और openEuler x86/aarch64 (ACL Graph) बिल्ड भी प्रदान किए गए हैं।
यह अपडेट उपयोगकर्ताओं की मदद करता है, धीमे prefill चरणों के दौरान कनेक्शन गिरावट को रोकते हुए और WebUI को अपनी विशिष्ट visibility-kick कैडेंस आवश्यकताओं की घोषणा करने की अनुमति देता है।