Os autores apresentam o K-ABENA, um framework de computação seletiva de gradientes que reduz o custo de treinamento por iteração excluindo observações de baixa perda da propagação para trás. Sua forma canônica combina amostragem de mistura defensiva com reponderação inversa de probabilidade de Horvitz-Thompson para produzir um estimador de gradiente não enviesado no design.
- O método fornece uma garantia de convergência não convexa O(1/sqrt(T)) para SGD sob o estimador.
- A seleção baseada em perda não compensada falha em alcançar pontos estacionários em minimizadores onde o viés de seleção é limitado longe de zero.
- Em conjuntos de dados reais, o estimador compensado economiza 28-54% da computação de gradientes por época enquanto permanece estatisticamente indistinguível do SGD de lote completo.
- O modo «regularizado» enviesado anterior colapsa sob ruído de rótulos e desequilíbrio extremo, enquanto a variante compensada mantém alta precisão.
Os autores consideram isso importante porque quantifica a falha de variantes não compensadas como OHEM e SBP, oferecendo uma alternativa com base teórica que alcança economias significativas de computação sem sacrificar propriedades de convergência.