最近的研究将超级权重识别为单独移除会导致模型性能下降数个数量级的单个参数，但本研究表明训练这些特定参数是无效的。在OLMo-1B和OLMo-7B上孤立地训练超级权重会将准确率降至随机猜测水平，即使扩展到多达36K个参数的局部邻域也是如此。
- 训练孤立的超级权重会导致性能崩溃，而训练相同数量的随机选择位置则能优于基线。
- Vanilla LoRA仅通过低秩结构更新注意力权重矩阵中的每个位置，即可成功利用仅0.16%的参数。
- 对down_proj层应用相同的低秩更新也能取得成功，而在超级权重坐标处限制LoRA更新会产生与随机猜测在统计上无法区分的结果。
这些发现确立了一个事实：参数的重要性并不意味着其可以独立训练，有效的微调依赖于对整个层的结构化分解，而非针对单个重要权重。