Para penulis menyajikan K-ABENA, sebuah kerangka kerja komputasi gradien selektif yang mengurangi biaya pelatihan per iterasi dengan mengecualikan observasi berbiaya rendah dari umpan balik. Bentuk kanoniknya menggabungkan pengambilan sampel campuran defensif dengan pemberatan probabilitas terbalik Horvitz-Thompson untuk menghasilkan estimator gradien tidak bias desain.
- Metode ini memberikan jaminan konvergensi non-cembung O(1/sqrt(T)) untuk SGD di bawah estimator tersebut.
- Pemilihan berbasis kerugian yang tidak terkompensasi gagal mencapai titik stasioner pada minimizer di mana bias seleksi dibatasi jauh dari nol.
- Pada dataset nyata, estimator terkompensasi menghemat 28-54% komputasi gradien per epoch sambil tetap secara statistik tidak dapat dibedakan dari SGD batch penuh.
- "Mode terregularisasi" yang bias sebelumnya runtuh di bawah kebisingan label dan ketidakseimbangan ekstrem, sedangkan varian terkompensasi mempertahankan akurasi tinggi.
Para penulis menganggap ini penting karena mengkuantifikasi kegagalan varian tidak terkompensasi seperti OHEM dan SBP, menawarkan alternatif yang berlandaskan teori yang mencapai penghematan komputasi signifikan tanpa mengorbankan sifat konvergensi.