Авторы разрабатывают нелинейную спектральную схему декофакторизации для градиентного бустинга, чтобы устранить чувствительность гибких методов машинного обучения к скрытым конфаундерам. Этот подход заменяет обычную функцию потерь квадратичной ошибки на спектральную функцию потерь, что замедляет обучение в направлениях, совпадающих с латентными конфаундерами.

  • Метод опирается на взаимодействие между спектральным сжатием и регуляризацией, особенно ранней остановкой, а не только на спектральной функции потерь.
  • Смешанная модель интерпретации связывает сжатие типа LAVA с корректировкой случайных эффектов, что позволяет использовать процедуру эмпирического Байеса для настройки.
  • Схема расширена на общие правдоподобия и нелинейный конфаундинг с использованием аппроксимаций Лапласа и случайных эффектов ядра.

Эксперименты на синтетических и реальных данных показывают, что спектрально декофакторизованный бустинг улучшает оценку целевой функции при наличии скрытого конфаундинга, оставаясь значительно более масштабируемым по сравнению с существующими нелинейными базовыми методами.