Исследователи предлагают метод перевзвешивания атомов внимания (AHR), эффективный по данным подход, который адаптирует большие языковые модели к новым задачам классификации текста, обучая только один скаляр на каждый атом внимания. Этот подход радикально сокращает количество обучаемых параметров, изменяя примерно 0,0001% от общего числа параметров модели.
- AHR использует функциональную специализацию отдельных атомов внимания для адаптации LLM при минимальном объеме данных.
- Эксперименты на разнообразных наборах данных классификации текста с открытым исходным кодом показывают, что AHR превосходит стандартные базовые методы, такие как LoRA, при обучении на ограниченных выборках.
- Метод требует в 200–1000 раз меньше обучаемых параметров по сравнению со схожими методами адаптации.
- Наученные веса интерпретируемы, что позволяет анализировать механизмы и атомы внимания, ответственные за способность к обучению в контексте (in-context learning).
Авторы считают это важным, поскольку метод решает проблему эффективного обучения на ограниченных данных в таких областях, как безопасность, где размеченные примеры редки.