Trabalhos recentes identificaram Super Weights como parâmetros individuais cuja remoção degrada o desempenho do modelo em ordens de magnitude, mas este estudo mostra que treinar esses parâmetros específicos é ineficaz. Treinar Super Weights de forma isolada no OLMo-1B e OLMo-7B reduz a precisão para níveis de palpite aleatório, mesmo ao expandir para vizinhanças locais de até 36K parâmetros.
- Treinar Super Weights isolados causa colapso de desempenho, enquanto treinar um número igual de posições escolhidas aleatoriamente melhora em relação à linha de base.
- Vanilla LoRA tem sucesso com apenas 0.16% dos parâmetros ao atualizar cada posição nas matrizes de pesos de atenção por meio de uma estrutura de baixo posto.
- Aplicar a mesma atualização de baixo posto às camadas down_proj também tem sucesso, enquanto restringir as atualizações do LoRA nas coordenadas do Super Weight produz resultados estatisticamente indistinguíveis do palpite aleatório.
Esses achados estabelecem que a importância do parâmetro não implica sua treinabilidade em isolamento e que o ajuste fino eficaz depende de decomposições estruturadas sobre camadas inteiras, em vez de visar pesos individualmente importantes.