A Capacidade Não Está nos Pesos: Resultado Negativo Empírico sobre Projeção de Pesos MLP
Um estudo empírico descobriu que projetar pesos MLP de um modelo transformer para outro falha em transferir capacidade semântica. Cada variante testada performou pior do que o modelo host não modificado, indicando uma limitação estrutural na projeção de pesos. Os resultados desafiam afirmações públicas sobre capacidades de modelos baseadas em benchmarks, mostrando que tais afirmações não refletem a geometria interna real dos pesos.