著者らは、K-ABENAを発表しました。これは、逆伝播から低損失の観測値を除外することで、反復あたりのトレーニングコストを削減する選択的勾配計算フレームワークです。その標準的な形式は、防御的混合サンプリングとHorvitz-Thompson逆確率重み付けを組み合わせて、設計上不偏な勾配推定量を生み出します。

  • この手法は、推定量の下でSGDに対してO(1/sqrt(T))の非凸収束保証を提供します。
  • 補償付きでない損失ベースの選択は、選択バイアスが0から遠く離れた最小化点において停留点に到達できません。
  • 実際のデータセットでは、補償付き推定量はエポックあたりの勾配計算を28〜54%節約しながら、フルバッチSGDと統計的に区別できないままです。
  • 以前のバイアスのかかった「正則化モード」はラベルノイズと極端な不均衡の下で崩壊しますが、補償付き変種は高精度を維持します。

著者らはこれを重要と考えています。なぜなら、OHEMやSBPのような補償付きでない変種の失敗を定量化し、収束特性を犠牲にせずに大幅な計算量の節約を実現する理論的に根拠のある代替案を提供しているからです。