本文分析了对比学习中InfoNCE损失函数的总体风险，证明了使用k个负样本可将风险收敛至期望交叉熵的O(1/k)范围内。该指标量化了未见数据上的softmax相似度搜索与基于正样本生成器的理想化搜索之间的偏差。

  • 该分析补充了InfoNCE在k趋于无穷极限下的现有解释，这些解释通常围绕互信息以及对齐性与均匀性展开。
  • 通过Gâteaux微分引入了InfoNCE损失的新连续性界，以量化泛化性能。
  • 该界限保留了负样本的平均结构，并包含一个可调节的反温度参数，以考虑算法温度。
  • 对于Lipschitz嵌入函数，研究表明随着k的增加，对k个负样本进行平均可稳定泛化误差。