Les auteurs présentent K-ABENA, un cadre de calcul de gradient sélectif qui réduit le coût d'entraînement par itération en excluant les observations à faible perte de la rétropropagation. Sa forme canonique combine l'échantillonnage de mélange défensif avec le rééquilibrage par probabilité inverse de Horvitz-Thompson pour produire un estimateur de gradient non biaisé au sens du plan d'échantillonnage.
- La méthode fournit une garantie de convergence non convexe O(1/sqrt(T)) pour SGD sous l'estimateur.
- La sélection basée sur la perte non compensée ne parvient pas à atteindre des points stationnaires aux minimiseurs où le biais de sélection est borné loin de zéro.
- Sur des ensembles de données réels, l'estimateur compensé économise 28 à 54 % du calcul de gradient par époque tout en restant statistiquement indistinguable de SGD par lot complet.
- Le "mode régularisé" biaisé précédent s'effondre sous le bruit d'étiquette et le déséquilibre extrême, tandis que la variante compensée maintient une haute précision.
Les auteurs considèrent cela important car il quantifie l'échec des variantes non compensées comme OHEM et SBP, offrant une alternative fondée théoriquement qui réalise d'importantes économies de calcul sans sacrifier les propriétés de convergence.