В данной статье анализируется вероятность того, что траектория модели останется в пределах заданных областей отказа при обучении с использованием зашумленного градиентного спуска, идеализированного как затухающая динамика Ланжевена.
- Равновесная масса области отказа экспоненциально мала по размерности d, с дополнительным показателем энергетического барьера для малого шума.
- Оценка, не зависящая от формы, показывает, что вероятность нахождения внутри множества релаксирует к статическому значению после времени прогрева порядка d, опираясь на глобальную спектральную щель.
Пример Орнштейна-Уленбека демонстрирует, что может происходить временное расширение, что требует локальной скорости релаксации, связанной с областью отказа.
Для геометрически изолированных областей эта локальная скорость превышает глобальную, сокращая время прогрева и ограничивая вероятность траектории равномерно по времени.
Исследование приходит к выводу, что, хотя строгая выпуклость определяет скорость релаксации, форма опасного множества диктует, будет ли траектория выпячиваться через него во время обучения.