Este estudio introduce la nitidez riemanniana, una medida de planitud invariante a reparametrizaciones basada en la geometría de la Matriz de Información de Fisher. Demuestra que la distribución estacionaria de SGD se concentra en mínimos riemannianamente planos y vincula este sesgo geométrico con la generalización mediante un límite PAC-Bayes. Los experimentos en MNIST y CIFAR-10 muestran que la nitidez riemanniana rastrea mejor la generalización que la nitidez euclidiana, con un escalado consistente con la teoría.
La nitidez riemanniana explica el sesgo de SGD hacia mínimos planos
Traducido del English → Español