लेखकों ने K-ABENA प्रस्तुत किया, जो एक चयनात्मक ग्रेडिएंट कंप्यूटेशन फ्रेमवर्क है जो बैकवर्ड पास से कम-लागत अवलोकनों को बाहर करके प्रति-इट्रेशन प्रशिक्षण लागत को कम करता है। इसका मानक रूप डिफेंसिव-मिक्स्चर सैम्पलिंग और Horvitz-Thompson इन्वर्स-प्रोबेबिलिटी रीवेटिंग को जोड़कर एक डिज़ाइन-अनपक्षपाती ग्रेडिएंट एस्टिमेटर देता है।
- विधि अनुमानक के तहत SGD के लिए O(1/sqrt(T)) नॉन-कॉन्वेक्स कन्वर्जेंस गारंटी प्रदान करती है।
- अक्षतिपूर्ति लाइट-आधारित चयन उन मिनिमाइज़र्स पर स्टेशनरी पॉइंट्स तक नहीं पहुँच पाता जहाँ चयन पूर्वाग्रह शून्य से दूर सीमित होता है।
- वास्तविक डेटासेट पर, क्षतिपूर्ति एस्टिमेटर प्रति-एपॉक ग्रेडिएंट कंप्यूटेशन में 28-54% बचाता है जबकि पूर्ण-बैच SGD से सांख्यिकीय रूप से अविभेद्य रहता है।
- पूर्व का पूर्वाग्रही "रेगुलराइज़्ड मोड" लेबल शोर और चरम असंतुलन के तहत ढह जाता है, जबकि क्षतिपूर्ति वैरिएंट उच्च सटीकता बनाए रखता है।
लेखकों को यह महत्वपूर्ण लगता है क्योंकि यह OHEM और SBP जैसे अक्षतिपूर्ति वैरिएंट्स की विफलता को मात्रात्मक रूप देता है, एक सैद्धांतिक आधारित विकल्प प्रदान करता है जो कन्वर्जेंस गुणों को त्यागे बिना महत्वपूर्ण कंप्यूट बचत हासिल करता है।