L'article analyse le risque populationnel de la fonction de perte InfoNCE dans l'apprentissage contrastif, démontrant que l'utilisation de k échantillons négatifs ramène le risque à O(1/k) d'une entropie croisée attendue. Cette métrique quantifie l'écart entre la recherche de similarité softmax sur des données non vues et une recherche idéalisée basée sur le générateur d'échantillons positifs.
- L'analyse complète les interprétations existantes de InfoNCE dans la limite k-vers-l'infini, qui sont généralement formulées en termes d'information mutuelle et d'alignement versus uniformité.
- Une nouvelle borne de continuité pour la perte InfoNCE est introduite via la différentiation de Gâteaux pour quantifier les performances de généralisation.
- Cette borne préserve la structure de moyennage sur les échantillons négatifs et inclut un paramètre de température inverse ajustable pour tenir compte de la température algorithmique.
- Pour les fonctions d'embedding lipschitziennes, l'étude montre que la moyenne sur k échantillons négatifs stabilise l'erreur de généralisation à mesure que k augmente.