arxiv arXiv cs.LG · 51 д назад · research

Совмещение LLM с использованием скрытой обратной связи пользователя

Переведено с English → Русский

Новый набор данных IFLLM собирает данные о перемещении мыши и взгляде пользователя при взаимодействии с LLM. Он показывает, что скрытая обратная связь значительно улучшает выравнивание LLM, повышая точность текстовых моделей вознаграждения с 55% до 64% и почти втрое увеличивая качество ответов после обучения DPO на восьми LLM.

Важность 3/3 Новый бенчмарк-харнесс с отличиями arXiv cs.LG OpenAI Google DeepMind Meta AI Evaluation & benchmarks Research paper Safety & alignment

Оригинал

Совмещение LLM с использованием скрытой обратной связи пользователя

Новый набор данных IFLLM собирает данные о перемещении мыши и взгляде пользователя при взаимодействии с LLM. Он показывает, что скрытая обратная связь значительно улучшает выравнивание LLM, повышая точность текстовых моделей вознаграждения с 55% до 64% и почти утрачивая качество ответов после обучения DPO на восьми LLM.

arxiv arXiv cs.AI · 51 д назад

MACR: Явное разрешение конфликтов в инференсе LLM

MACR представляет многоагентную систему рассуждений для разрешения конфликтов знаний в инференсе LLM путем совместной оценки внутренних и внешних знаний. Используя семантическую энтропию для измерения уверенности, MACR применяет три специализированных агента для индукции правил, обнаружения конфликтов и разрешения несоответствий между контекстами. Эмпирические результаты показывают, что MACR превосходит методы, являющиеся самыми передовыми, и обеспечивает интерпретируемые решения конфликтов.

arxiv arXiv cs.CL · 51 д назад · 3 просмотра

Закон контроля окна для управления одним нейроном в языковых моделях

Новый фреймворк определяет, в каких случаях вмешательства в отдельный нейрон согласованно контролируют поведение модели без коллапса выводов. Окно контроля, основанное на сопоставлении и отношениях норм, предсказывает триггеры поведения и верхние пределы коллапса с использованием данных прямого прохода, с высокой точностью на отложенных нейронах. При отказе контроль типизируется: согласованное обходное поведение происходит без содержательных действий, в то время как истинное достижение действий проявляется только в определенных случаях и на поздних стадиях развертывания.

arxiv arXiv cs.CL · 52 д назад · 1 просмотр

Регулируемая оптимизация культурных предпочтений в моделях вознаграждения

Эта статья представляет SCPO — новую алгоритм для обучения моделей вознаграждения, которая сбалансирует разнообразные культурные предпочтения в подсообществах. SCPO повышает производительность моделей вознаграждения меньшинств на 7 пунктов на двух наборах данных и семи странах, при этом обеспечивая эффективность обучения на 280% выше, чем при полном тонком настройке на весь набор данных. Анализ показывает, что снижение смещения достигается за счёт оценки предпочтений подсообществ в целевых направлениях.

arxiv arXiv cs.CL · 52 д назад · 2 просмотра

Неправильная синхронизация в больших языковых моделях: количественное исследование

Новое исследование представляет VETO — бенчмарк из 2032 пар контрастных примеров, полученных из BBQ, для количественной оценки неправильной синхронизации в больших языковых моделях. В нем определяется коэффициент неправильной синхронизации (MAR) и показывает, что все проверенные большие языковые модели демонстрируют значения MAR от 4,7% до 18,9%, в то время как люди достигают 0%. Исследование показывает, что сигналы синхронизации могут усиливать эти сбои, и доказательства подавления происходят в поздних слоях моделей и появляются после тренировки по инструкциям.