llama.cpp प्रोजेक्ट ने संस्करण b10312 जारी किया है, जिसमें सर्वर घटक को एक विशिष्ट अपडेट शामिल है। मुख्य बदलाव उस समस्या को संबोधित करता है जहाँ भीड़भाड़ वाले मॉडल्स राउटर से बाहर निकाल दिए जा रहे थे।

  • सर्वर: भीड़भाड़ वाले मॉडल्स के बाहर निकलने को रोकता है (PR #26567)।
  • macOS/iOS: Apple Silicon (arm64) और Intel (x64) के लिए बाइनरी, साथ ही एक iOS XCFramework प्रदान करता है। macOS पर KleidiAI समर्थन अक्षम कर दिया गया है।
  • Linux: Ubuntu x64, arm64, और s390x CPU के लिए बिल्ड प्रदान करता है, साथ ही Vulkan, ROCm 7.2, OpenVINO, SYCL FP32, और SYCL FP16 वेरिएंट भी उपलब्ध हैं।
  • Android: एक arm64 CPU बिल्ड शामिल है।
  • Windows: x64 और arm64 CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, और HIP का समर्थन करता है।
  • openEuler: x86 (310p, 910b ACL Graph) और aarch64 (310p, 910b ACL Graph) के लिए बिल्ड उपलब्ध हैं, जबकि मानक पुल अनुरोध अक्षम है।

यह रिलीज़ सर्वर डिप्लॉयमेंट में सक्रिय मॉडल्स की निरंतर उपलब्धता सुनिश्चित करती है और प्रमुख ऑपरेटिंग सिस्टम और हार्डवेयर एक्सेलेरेटर के आराम से व्यापक बाइनरी प्रदान करती है।