Авторы предлагают NeuFS, фреймворк активного обучения с малым количеством примеров, учитывающий нейроны (Neuron-Aware Active Few-Shot Learning), который смещает выбор образцов от прокси-метрик на уровне вывода к внутренней динамике модели. Используя паттерны активации нейронов, метод стремится выявлять конкретные пробелы в знаниях и снижать затраты на аннотацию человеком.
- NeuFS представляет образцы непосредственно с помощью паттернов активации нейронов, а не внешних эмбеддингов или предсказательной энтропии.
- Он использует стратегию с двумя критериями, обеспечивающую разнообразие через паттерны нейронов и приоритизацию информативных образцов путем количественной оценки консенсуса нейронов.
- Эксперименты на трех наборах данных показывают, что NeuFS превосходит существующие базовые методы активного обучения с малым количеством примеров в задачах рассуждения и классификации текста.
- Исследования аблиации подтверждают, что внутренняя активация нейронов предоставляет более обоснованный сигнал для отбора по сравнению с внешними эмбеддингами.
Фреймворк предлагает более эффективный подход к выбору демонстраций с малым количеством примеров за счет использования внутреннего состояния модели для выявления сложных образцов.