K-ABENA 引入基于补偿损失的样本排除以实现无偏梯度估计

作者提出了 K-ABENA，一种选择性梯度计算框架，通过从反向传播中排除低损失观测值来减少每次迭代的训练成本。其规范形式结合了防御性混合采样与 Horvitz-Thompson 逆概率重加权，以产生设计无偏的梯度估计器。

• 该方法在估计器下为 SGD 提供了 O(1/sqrt(T)) 的非凸收敛保证。
• 未补偿的损失选择无法在最小化点处达到平稳点，其中选择偏差远离零有界。
• 在真实数据集上，补偿估计器节省了每轮 28-54% 的梯度计算量，同时与全批量 SGD 在统计上无显著差异。
• 早期有偏的“正则化模式”在标签噪声和极端不平衡下崩溃，而补偿变体保持高精度。

作者认为这很重要，因为它量化了 OHEM 和 SBP 等未补偿变体的失败，提供了一种理论依据的替代方案，在不牺牲收敛性的情况下实现了显著的算力节省。