Trabajos recientes identificaron los Super Pesos como parámetros individuales cuya eliminación degrada el rendimiento del modelo en órdenes de magnitud, pero este estudio muestra que entrenar estos parámetros específicos es ineficaz. Entrenar Super Pesos de forma aislada en OLMo-1B y OLMo-7B reduce la precisión a niveles de azar, incluso al expandirse a vecindarios locales de hasta 36K parámetros.

  • Entrenar Super Pesos aislados causa un colapso del rendimiento, mientras que entrenar una cantidad igual de posiciones elegidas aleatoriamente mejora sobre la línea base.
  • Vanilla LoRA tiene éxito con solo el 0.16% de los parámetros al actualizar cada posición en las matrices de pesos de atención a través de una estructura de bajo rango.
  • Aplicar la misma actualización de bajo rango a las capas down_proj también tiene éxito, mientras que restringir las actualizaciones de LoRA en las coordenadas del Super Peso produce resultados estadísticamente indistinguibles del azar.

Estos hallazgos establecen que la importancia del parámetro no implica su entrenabilidad en aislamiento y que el ajuste fino efectivo depende de descomposiciones estructuradas sobre capas completas en lugar de dirigirse a pesos individualmente importantes.