llama.cpp परियोजना ने संस्करण b10431 जारी किया, जिसने ggml_ssm_scan संचालन में पुनरावर्ती स्थिति (RS) रोलबैक के लिए समर्थन पेश किया। इस बदलाव से CPU और CUDA बैकएंड पर Nemotron मॉडल के लिए RS रोलबैक सक्षम हो जाता है।
- CPU और CUDA पर Nemotron के लिए पुनरावर्ती स्थिति रोलबैक का प्रारंभिक कार्यान्वयन।
- सभी बैकएंड में ssm_scan में K > 1 के लिए समर्थन।
- संचालन समर्थन की जांच करने के लिए स्थिर CUDA डिटेक्शन को रनटाइम fused_op API से बदलना।
- जब बैकएंड SSM रोलबैक का समर्थन नहीं करता है तो CPU पर वापस जाना।
- कार्यक्षमता की जांच करने के लिए CPU और CUDA दोनों के लिए test-backend-ops जोड़ना।
इस अपडेट से उपयोगकर्ताओं को समर्थित हार्डवेयर विन्यासों पर पुनरावर्ती स्थिति रोलबैक क्षमताओं के साथ Nemotron मॉडल चलाने की अनुमति मिलती है।