O artigo analisa o risco populacional da função de perda InfoNCE no aprendizado contrastivo, demonstrando que usar k amostras negativas traz o risco para O(1/k) de uma entropia cruzada esperada. Essa métrica quantifica o desvio entre a busca de similaridade com softmax em dados não vistos e uma busca idealizada baseada no gerador de amostras positivas.
- A análise complementa as interpretações existentes do InfoNCE no limite de k para infinito, que são tipicamente enquadradas em termos de informação mútua e alinhamento versus uniformidade.
- Um novo limite de continuidade para a perda InfoNCE é introduzido via diferenciação de Gâteaux para quantificar o desempenho de generalização.
- Este limite preserva a estrutura de média sobre as amostras negativas e inclui um parâmetro de temperatura inversa ajustável para levar em conta a temperatura algorítmica.
- Para funções de incorporação de Lipschitz, o estudo mostra que a média sobre k amostras negativas estabiliza o erro de generalização à medida que k aumenta.