Исследователи предлагают использовать конечную персистентную гомологию нулевой размерности для представления топологии некорректно поставленных вопросов в больших языковых моделях. Метод моделирует контекстные скрытые состояния как точечные облака, суммируя каждый слой трансформера с помощью трех дескрипторов: среднего конечного времени жизни, нормализованной энтропии времени жизни и концентрации наибольшего времени жизни. Эти дескрипторы конкатенируются по слоям для формирования единого топологического представления внутреннего состояния запроса. В исследовании вводится топологически обусловленное управление активацией, которое извлекает похожие примеры для построения вмешательств, стимулирующих уточнение или воздержание от ответа. Оценки на наборах данных AmbigQA, SituatedQA и CLAMBER показывают, что данный подход превосходит базовые методы на основе промптов, улучшая точность классификации с 67,4% до 78,9% на AmbigQA. На SituatedQA точность увеличилась с 79,9% до 88,5%, а на CLAMBER наблюдался рост с 57,6% до 69,6%. Кроме того, механизм управления повысил средний общий уровень приемлемых ответов с 61,4% до 70,6% для трех моделей LLM с открытым весом.
Персистентная гомология обнаруживает и направляет ответы LLM на некорректно поставленные вопросы
Переведено с English → Русский