저자들은 K-ABENA를 제시했습니다. 이는 역전파에서 저손실 관측치를 제외하여 반복당 훈련 비용을 줄이는 선택적 기울기 계산 프레임워크입니다. 그 표준 형태는 방어적 혼합 샘플링과 Horvitz-Thompson 역확률 재가중치를 결합하여 설계 편향 없는 기울기 추정량을 제공합니다.
- 이 방법은 추정량 하에서 SGD에 대해 O(1/sqrt(T)) 비볼록 수렴 보장을 제공합니다.
- 보상되지 않은 손실 기반 선택은 선택 편향이 0에서 멀리 떨어진 최소화점에서 정지점에 도달하지 못합니다.
- 실제 데이터셋에서 보상된 추정량은 에포크당 기울기 계산을 28-54% 절약하면서도 전체 배치 SGD와 통계적으로 구별 불가능한 상태를 유지합니다.
- 이전의 편향된 "정규화 모드"는 레이블 노이즈와 극단적 불균형 하에 붕괴되는 반면, 보상된 변종은 높은 정확도를 유지합니다.
저자들은 이것이 OHEM 및 SBP와 같은 비보상 변종의 실패를 정량화하고 수렴 특성을 희생하지 않고 상당한 계산 절약을 달성하는 이론적으로 근거 있는 대안을 제공하기 때문에 중요하다고 간주합니다.