一项实证研究发现，将一个Transformer模型的MLP权重投影到另一个模型中无法转移语义能力。每个测试变体都表现得不如未修改的主机模型，这表明权重投影存在结构限制。这些结果挑战了基于基准测试对模型能力的公开声明，表明此类声明并不能反映实际的内部权重几何结构。