यह पेपर शोर वाले ग्रेडिएंट डाउनलोड का उपयोग करके प्रशिक्षित करते समय, जिसे अति-अवमंदित लैंगेविन गतिशीलता के रूप में आदर्श बनाया गया है, एक मॉडल की ट्राजेक्टरी निर्धारित विफलता क्षेत्रों के भीतर रहने की प्रायिकता का विश्लेषण करती है।
- विफलता क्षेत्र का साम्यावस्था द्रव्यमान आयाम d में घातांकीय रूप से छोटा होता है, कम शोर के लिए एक पूरक ऊर्जा-बाधा दर के साथ।
- एक आकार-मुक्त सीमा दिखाती है कि सेट के भीतर प्रायिकता d के क्रम की एक बर्न-इन समय के बाद स्थिर मान पर ढील जाती है, जो वैश्विक स्पेक्ट्रल गैप पर निर्भर करता है।
- एक ऑर्नस्टीन-उल्हेनबेक उदाहरण दिखाता है कि अस्थायी सूजन हो सकती है, जिसके लिए विफलता क्षेत्र से जुड़ी स्थानीय ढील दर की आवश्यकता होती है।
- ज्यामितीय रूप से अलग क्षेत्रों के लिए, यह स्थानीय दर वैश्विक दर से अधिक होती है, बर्न-इन को संकुचित करती है और समय में समान रूप से ट्राजेक्टरी प्रायिकता को सीमित करती है।
अध्ययन इस निष्कर्ष पर पहुंचता है कि जबकि प्रबल उत्तलता ढील की गति निर्धारित करती है, असुरक्षित सेट का आकार यह तय करता है कि प्रशिक्षण के दौरान ट्राजेक्टरी इसके माध्यम से फूलती है या नहीं।