llama.cpp प्रोजेक्ट ने बिल्ड b10985 जारी किया, जो हैश-आधारित कैशिंग को केवल वजन टेन्सर तक सीमित करने के लिए RPC बैकएंड को संशोधित करता है। यह बदलाव एक समस्या को हल करता है जहां सक्रियण डेटा की आवश्यकता से अधिक हैश और संग्रहीत किया जाता था, जिससे डिस्क उपयोग अत्यधिक हो जाता था।
- `ggml_backend_rpc_buffer_set_tensor` और `ggml_backend_rpc_set_tensor_async` फ़ंक्शन अब केवल `GGML_BACKEND_BUFFER_USAGE_WEIGHTS` से चिह्नित बफर्स के लिए ट्रांसफर को हैश करते हैं।
- SET_TENSOR संदेश में एक नया `cache_flag` बाइट संकेत देता है कि कैश एंट्री कब सहेजी जानी चाहिए, जिसने पहले के सर्वर-साइड पेंडिंग स्टेट लॉजिक को बदल दिया।
यह अनुकूलन डिस्क स्पेस भरने से रोकता है यह सुनिश्चित करके कि केवल वजन ही हैश मार्ग के माध्यम से कैश किए जाएं।