llama.cpp प्रोजेक्ट ने b10709 बिल्ड जारी की, जो सर्वरों के बीच संचार के दौरान टेंसर बफ़र्स के हैंडलिंग से संबंधित RPC सबसिस्टम में एक महत्वपूर्ण समस्या को हल करती है।

  • मुख्य बदलाव दूरस्थ बफ़र पॉइंटर्स को केवल तभी शामिल करके, जब बफ़र ग्राहक प्राप्त करने वाले RPC डिस्पैचर से संबंधित हो, अन्य सर्वरों से संबंधित बफ़र्स के सीरियलाइज़ेशन को रोकता है।
  • सर्वरों के बीच टेंसर सीरियलाइज़ेशन के लिए सही व्यवहार की पुष्टि करने के लिए एक दो-सर्वर रीग्रेशन टेस्ट जोड़ा गया है।
  • macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, और iOS के लिए पूर्व-निर्मित बाइनरी उपलब्ध हैं।

यह ठीक करना अलग-अलग RPC सर्वरों के बीच गलत बफ़र साझाकरण को रोककर वितरित इनफरेंस सेटअप में डेटा अखंडता सुनिश्चित करता है।