作者开发了一种用于梯度提升的非线性谱去混杂框架,以解决灵活机器学习方法对隐藏混杂因素的敏感性。该方法用谱损失替换了普通的平方误差损失,从而减缓了与潜在混杂因素方向一致的学习速度。

  • 该方法依赖于谱收缩与正则化(特别是早停)之间的相互作用,而不仅仅是谱损失本身。
  • 混合模型解释将LAVA型收缩与随机效应调整联系起来,使得能够使用经验贝叶斯过程进行调参。
  • 该框架利用拉普拉斯近似和核随机效应扩展到一般似然和非线性混杂。

在合成数据和真实世界数据上的实验表明,谱去混杂提升在存在隐藏混杂的情况下改进了目标函数估计,并且比现有的非线性基线具有显著更高的可扩展性。