Los autores presentan K-ABENA, un marco de cálculo selectivo de gradientes que reduce el costo de entrenamiento por iteración excluyendo observaciones de baja pérdida de la propagación hacia atrás. Su forma canónica combina muestreo de mezcla defensiva con reponderación inversa de probabilidad de Horvitz-Thompson para producir un estimador de gradiente no sesgado en el diseño.
- El método proporciona una garantía de convergencia no convexa O(1/sqrt(T)) para SGD bajo el estimador.
- La selección basada en pérdida no compensada falla en alcanzar puntos estacionarios en minimizadores donde el sesgo de selección está acotado lejos de cero.
- En conjuntos de datos reales, el estimador compensado ahorra del 28% al 54% del cómputo de gradientes por época mientras permanece estadísticamente indistinguible del SGD de lote completo.
- El modo «regularizado» sesgado anterior colapsa bajo ruido de etiquetas e desequilibrio extremo, mientras que la variante compensada mantiene alta precisión.
Los autores consideran esto importante porque cuantifica el fallo de variantes no compensadas como OHEM y SBP, ofreciendo una alternativa con base teórica que logra ahorros significativos de cómputo sin sacrificar propiedades de convergencia.