Pesquisadores propõem a Reponderação de Cabeças de Atenção (AHR), um método eficiente em dados que adapta grandes modelos de linguagem a novas tarefas de classificação de texto aprendendo apenas uma escalar por cada cabeça de atenção. Esta abordagem reduz drasticamente o número de parâmetros treináveis, modificando aproximadamente 0,0001% do total do modelo.
- AHR aproveita a especialização funcional das cabeças de atenção individuais para adaptar LLMs com dados mínimos.
- Experimentos em diversos conjuntos de dados de classificação de texto de código aberto mostram que a AHR supera as linhas de base padrão como LoRA ao aprender de amostras limitadas.
- O método requer 200-1000x menos parâmetros treináveis do que técnicas de adaptação comparáveis.
- Os pesos aprendidos são interpretáveis, permitindo a análise dos mecanismos e cabeças de atenção responsáveis pelas capacidades de aprendizado em contexto.
Os autores consideram isso importante porque aborda o desafio do aprendizado eficaz a partir de dados limitados em domínios como segurança, onde exemplos rotulados são escassos.