El artículo analiza el riesgo poblacional de la función de pérdida InfoNCE en el aprendizaje contrastivo, demostrando que usar k muestras negativas acerca el riesgo a O(1/k) de una entropía cruzada esperada. Esta métrica cuantifica la desviación entre la búsqueda de similitud con softmax en datos no vistos y una búsqueda idealizada basada en el generador de muestras positivas.
- El análisis complementa las interpretaciones existentes de InfoNCE en el límite k-a-infinito, que generalmente se enmarcan en términos de información mutua y alineación frente a uniformidad.
- Se introduce un nuevo límite de continuidad para la pérdida InfoNCE mediante diferenciación de Gâteaux para cuantificar el rendimiento de generalización.
- Este límite preserva la estructura de promediado sobre las muestras negativas e incluye un parámetro de temperatura inversa ajustable para tener en cuenta la temperatura algorítmica.
- Para funciones de incrustación de Lipschitz, el estudio muestra que promediar sobre k muestras negativas estabiliza el error de generalización a medida que k aumenta.