Исследователи предлагают NeuFS, фреймворк активного обучения с малым количеством примеров (Active Few-Shot Learning), учитывающий нейроны, который переносит выбор образцов с прокси-методов на уровне вывода на внутренние динамики модели. Метод использует паттерны активации нейронов для представления образцов и применяет стратегию с двумя критериями для обеспечения разнообразия и выявления сложных примеров, склонных к галлюцинациям.
- Заменяет предиктивную энтропию и внешние эмбеддинги паттернами активации нейронов для представления образцов.
- Использует консенсус нейронов для приоритизации информативных и сложных примеров с малым количеством данных, которые LLM склонны галлюцинировать.
- Обеспечивает разнообразие примеров с малым количеством данных через паттерны нейронов для более широкого покрытия примеров.
- Превосходит существующие базовые методы AFSL в задачах рассуждения и классификации текста на трех наборах данных.
Абляционные исследования подтверждают, что внутренние активации нейронов предоставляют более обоснованный сигнал выбора по сравнению с внешними эмбеддингами, подтверждая эффективность фреймворка.