本記事は、contrastive learningにおけるInfoNCE損失関数のpopulation riskを分析し、k個のネガティブサンプルを使用することで、期待されるcross-entropyに対してO(1/k)の範囲内にリスクをもたらすことを示している。この指標は、未見データにおけるsoftmax類似度検索と正例生成器に基づく理想化された検索との間の偏差を定量化する。

  • この分析は、相互情報量およびalignment対uniformityという文脈で通常記述される、k-to-infinity極限におけるInfoNCEの既存の解釈を補完する。
  • InfoNCE損失のための新しい連続性境界が、Gâteaux微分を通じて導入され、汎化性能を定量化するために用いられる。
  • この境界はネガティブサンプルにわたる平均化構造を維持し、アルゴリズム的温度を考慮するために調整可能な逆温度パラメータを含む。
  • Lipschitz埋め込み関数について、本研究はk個のネガティブサンプルにわたる平均化が、kが増加するにつれて汎化誤差を安定化させることを示している。