Los investigadores proponen el Reequilibrio de Cabezales de Atención (AHR), un método eficiente en datos que adapta grandes modelos de lenguaje a nuevas tareas de clasificación de texto aprendiendo solo una escalar por cada cabezal de atención. Este enfoque reduce drásticamente el número de parámetros entrenables, modificando aproximadamente 0.0001% del total del modelo.
- AHR aprovecha la especialización funcional de los cabezales de atención individuales para adaptar LLMs con datos mínimos.
- Los experimentos en diversos conjuntos de datos de clasificación de texto de código abierto muestran que AHR supera a las líneas base estándar como LoRA al aprender de muestras limitadas.
- El método requiere 200-1000x menos parámetros entrenables que técnicas de adaptación comparables.
- Los pesos aprendidos son interpretables, permitiendo el análisis de los mecanismos y cabezales de atención responsables de las capacidades de aprendizaje en contexto.
Los autores consideran esto importante porque aborda el desafío del aprendizaje efectivo a partir de datos limitados en dominios como la seguridad, donde los ejemplos etiquetados son escasos.