Авторы представляют K-ABENA, фреймворк селективного вычисления градиентов, который снижает затраты на обучение за итерацию за счёт исключения наблюдений с низкой функцией потерь из обратного распространения. Его каноническая форма сочетает выборку защитной смеси с перевзвешиванием по вероятности Хорвица-Томпсона для получения несмещённого в смысле дизайна оценщика градиента.
- Метод обеспечивает гарантию невыпуклой сходимости O(1/sqrt(T)) для SGD под данным оценщиком.
- Неккомпенсированный выбор на основе функции потерь не достигает стационарных точек в минимизаторах, где смещение отбора ограничено ненулевым значением.
- На реальных наборах данных компенсированный оценщик экономит 28-54% вычислений градиента за эпоху, оставаясь статистически неотличимым от полного пакетного SGD.
- Более ранний смещённый «регуляризованный режим» коллапсирует при наличии шумных меток и экстремального дисбаланса, тогда как компенсированный вариант сохраняет высокую точность.
Авторы считают это важным, поскольку метод количественно оценивает неудачу некompensированных вариантов, таких как OHEM и SBP, предлагая теоретически обоснованную альтернативу, обеспечивающую значительную экономику вычислений без ущерба для свойств сходимости.