본 기사는 contrastive learning에서 InfoNCE 손실 함수의 population risk를 분석하며, k개의 부정 샘플을 사용하면 기대되는 cross-entropy에 대해 O(1/k) 오차 범위 내에 위험을 가져온다는 것을 보여줍니다. 이 지표는 보지 못한 데이터에서의 softmax 유사도 검색과 양성 샘플 생성기를 기반으로 한 이상적인 검색 간의 편차를 정량화합니다.
- 이 분석은 상호 정보량 및 alignment 대 uniformity의 관점에서 일반적으로 설명되는 k-to-infinity 극한에서의 InfoNCE에 대한 기존 해석을 보완합니다.
- InfoNCE 손실에 대한 새로운 연속성 경계가 Gâteaux 미분을 통해 도입되어 일반화 성능을 정량화하는 데 사용됩니다.
- 이 경계는 부정 샘플에 걸친 평균화 구조를 유지하며, 알고리즘 온도를 고려하기 위해 조정 가능한 역온도 매개변수를 포함합니다.
- Lipschitz 임베딩 함수의 경우, 본 연구는 k가 증가함에 따라 k개의 부정 샘플에 대한 평균화가 일반화 오차를 안정화시킨다는 것을 보여줍니다.