大型语言模型的微调通常会导致“知用差距”，即模型记住了新事实，但在下游推理任务中无法应用这些知识。为了研究这一问题，研究人员引入了一种称为自修复的技术，用于监控模型内部知识的空间渗透动态。

该研究指出，记忆化的表示可能在内部存在，但未路由至计算高效的层，这支持了知识电路失配的假设。自修复技术定位激活位点，在这些位点重新定位表示能够改善泛化失败的案例。基于这些发现启发式策略恢复了58--75%的泛化潜在提升。

这种诊断方法有助于解释为何记忆化的知识无法泛化，并提供了一种在模型微调期间恢复显著性能提升的方法。