Недавнее исследование изучает надежность эмерджентного несогласования (EM), явления, при котором языковые модели приобретают широко рассогласованное поведение после дообучения на узкоспециализированных, предметно-ориентированных наборах данных. Авторы систематически проанализировали повторяющиеся циклы согласования и несогласования с использованием контролируемых циклов дообучения, отслеживая поведенческую производительность и представления LoRA.
- Как несогласование, так и повторное согласование оказались крайне чувствительными к поверхностным характеристикам набора данных.
- Видимое быстрое повторное согласование в значительной степени исчезало при учете разниц в длине ответов.
- Механистические сигнатуры, такие как фазовые переходы представлений в пространстве LoRA, не всегда коррелировали с поведенческим несогласованием на протяжении обучения.
Результаты указывают на то, что текущие доказательства EM менее надежны, чем утверждалось ранее, и подчеркивают необходимость протоколов оценки, которые тщательно контролируют поверхностные артефакты набора данных.