Новый подход дереандомизирует границы PAC-Bayes для гладких функций потерь путем анализа разности обобщения класса разности Дженсена с помощью сложности Радемахера. Полученные границы для детерминированных предикторов включают меры плоскости, полученные из джакобианов и гессианов отображения вероятности, и применяются к линейным моделям и гладким нейронным сетям. Предлагается практический регулятор, вычисляемый с использованием складывающих весов BatchNorm, и проверяется на CIFAR-10 при различных размерах батчей.
Плавность-ориентированная дереандомизация границ PAC-Bayes
Переведено с English → Русский