Artikel ini menganalisis risiko populasi dari fungsi kerugian InfoNCE dalam pembelajaran kontras, menunjukkan bahwa menggunakan k sampel negatif membawa risiko ke dalam O(1/k) dari entropi silang yang diharapkan. Metrik ini mengkuantifikasi penyimpangan antara pencarian kesamaan softmax pada data yang belum dilihat dan pencarian ideal berdasarkan generator sampel positif.
- Analisis ini melengkapi interpretasi InfoNCE yang ada dalam batas k-ke-tak-hingga, yang biasanya dirumuskan dalam hal informasi timbal balik dan keselarasan versus uniformitas.
- Batas kontinuitas baru untuk kerugian InfoNCE diperkenalkan melalui diferensiasi Gâteaux untuk mengkuantifikasi kinerja generalisasi.
- Batas ini mempertahankan struktur rata-rata di seluruh sampel negatif dan menyertakan parameter suhu terbalik yang dapat disesuaikan untuk memperhitungkan suhu algoritmik.
- Untuk fungsi embedding Lipschitz, studi menunjukkan bahwa rata-rata atas k sampel negatif menstabilkan kesalahan generalisasi saat k meningkat.