Теория функционального пространства показывает, что катастрофическое забвение при непрерывной адаптации концентрируется в малом числе старых задач NTK-эйгенмодов. В случае линейного голова PEFT-CL с замороженным основанием, вектор забвения точно предсказуем до численной точности, с правилом Кронекера для уязвимого ранга.
Катастрофическое забвение — это низкое ранговое: теория функционального пространства
Переведено с English → Русский