تحلل المقالة خطر السكان لدالة الخسارة InfoNCE في التعلم التبايني، وتوضح أن استخدام k عينة سلبية يجلب الخطر ضمن O(1/k) من الانتروبيا المتقاطعة المتوقعة. تقيس هذه المعلمة الانحراف بين بحث التشابه softmax على بيانات غير مرئية وبحث مثالي يعتمد على مولد العينات الإيجابية.
- يكمل التحليل التفسيرات الحالية لـ InfoNCE في الحد k-to-infinity، والتي تُصاغ عادةً من حيث المعلومات المتبادلة والتوافق مقابل الانتظام.
- تم تقديم حد استمرارية جديد لخسارة InfoNCE عبر التفاضل الغاتو لتكميم أداء التعميم.
- يحافظ هذا الحد على بنية المتوسط فوق العينات السلبية ويتضمن معامل درجة حرارة عكسيًا يمكن ضبطه لمراعاة درجة الحرارة الخوارزمية.
- بالنسبة لدوال التضمين Lipschitz، تظهر الدراسة أن المتوسط على k عينة سلبية يثبت خطأ التعميم مع زيادة k.