लेख विपरीत शिक्षण में InfoNCE हानि फलन के जनसंख्या जोखिम का विश्लेषण करता है, यह प्रदर्शित करते हुए कि k नकारात्मक नमूनों का उपयोग करने से जोखिम अपेक्षित क्रॉस-एंट्रॉपी के O(1/k) के भीतर आ जाता है। यह माप अदृश्य डेटा पर सॉफ्टमैक्स समानता खोज और धनात्मक नमूना जनरेटर पर आधारित एक आदर्श खोज के बीच विचलन को मात्रात्मक रूप देता है।
- विश्लेषण k से अनंत की सीमा में InfoNCE के मौजूदा व्याख्याओं को पूरा करता है, जिन्हें आमतौर पर पारस्परिक जानकारी और संरेखण बनाम समरूपता के संदर्भ में ढांचे में रखा जाता है।
- सामान्यीकरण प्रदर्शन को मात्रात्मक रूप देने के लिए Gâteaux अवकलन के माध्यम से InfoNCE हानि के लिए एक नया सातत्य सीमा प्रस्तुत किया गया है।
- यह सीमा नकारात्मक नमूनों पर औसत संरचना को बनाए रखती है और एल्गोरिदमिक तापमान को ध्यान में रखने के लिए समायोज्य व्युत्क्रम तापमान पैरामीटर शामिल करती है।
- Lipschitz एम्बेडिंग फलनों के लिए, अध्ययन दिखाता है कि k बढ़ने पर k नकारात्मक नमूनों पर औसत लेना सामान्यीकरण त्रुटि को स्थिर करता है।