В статье анализируется риск на генеральной совокупности функции потерь InfoNCE в контрастном обучении, демонстрируя, что использование k отрицательных примеров приводит риск к O(1/k) от ожидаемой перекрестной энтропии. Эта метрика количественно оценивает отклонение между поиском по сходству с помощью softmax на новых данных и идеализированным поиском, основанным на генераторе положительных примеров.

  • Анализ дополняет существующие интерпретации InfoNCE в пределе k, стремящемся к бесконечности, которые обычно формулируются через взаимную информацию и выравнивание против равномерности.
  • Вводится новая граница непрерывности для функции потерь InfoNCE с помощью Гато-дифференцирования для количественной оценки обобщающей способности.
  • Эта граница сохраняет структуру усреднения по отрицательным примерам и включает параметр обратной температуры, настраиваемый для учета алгоритмической температуры.
  • Для липшицевых функций вложения исследование показывает, что усреднение по k отрицательным примерам стабилизирует ошибку обобщения по мере увеличения k.