Um estudo empírico descobriu que projetar pesos MLP de um modelo transformer para outro falha em transferir capacidade semântica. Cada variante testada performou pior do que o modelo host não modificado, indicando uma limitação estrutural na projeção de pesos. Os resultados desafiam afirmações públicas sobre capacidades de modelos baseadas em benchmarks, mostrando que tais afirmações não refletem a geometria interna real dos pesos.