arxiv arXiv cs.CL · 2 д назад

Язык формирует историческую кредитность в больших языковых моделях

Исследование 11 больших языковых моделей по 21 спорному изобретению показывает, что язык запроса систематически влияет на того, кого признают изобретателем. Потенциальные заявители с более низким статусом чаще появляются при формулировке вопросов на их родном языке, в то время как доминирующие англоязычные фигуры остаются стабильными. Результаты указывают на то, что язык действует как переключатель, активирующий различные национальные версии истории, что свидетельствует о том, что большие языковые модели функционируют как системы культурной памяти.

arxiv arXiv cs.CL · 2 д назад

DART: Обучение-бесплатное перенаправление для адаптивных бюджетов мышления

DART позволяет гибридным моделям мышления перенаправлять запросы между прямым ответом и расширенным мышлением без использования обучающих данных. Он использует два черновых варианта без мышления для определения режима ответа и оценивает бюджет мышления на основе несогласия черновых вариантов. DART повышает точность на 9,0 баллов в математике и на 22,5 баллов в кодовом мышлении, одновременно снижая количество токенов мышления на 15-69% и 51-63% соответственно.

arxiv arXiv cs.CL · 2 д назад

Контагиозное распространение памяти: распространение предвзятости в памяти агентов

Исследователи выявили явление Контагиозного распространения памяти, при котором предвзятость оценщика распространяется во времени в памяти агентов. Даже при идеальной консолидации памяти предвзятость распространяется на будущих агентов, извлекающих информацию из той же памяти, и обнаруживается при уровне p=0,2. Эффект варьируется в зависимости от типа предвзятости: предвзятость по длине ослабляется, в то время как предвзятость по авторитету усиливается, что указывает на зависимость от типа предвзятости.

arxiv arXiv cs.CL · 2 д назад

Анализ задачоспецифичности врожденной самокоррекции

Исследование изучает, в каких случаях врожденная самокоррекция работает, анализируя ее производительность в различных структурах задач. Исследование показывает, что самокоррекция обеспечивает стабильные преимущества только тогда, когда задача поддерживает явную проверку ограничений, пересмотр сложных рассуждений или оценку стратегии. Результаты показывают, что самокоррекция эффективна только в определенных контекстах задач, а не универсально.

arxiv arXiv cs.CL · 2 д назад

CFPO: Counterfactual Policy Optimization для многомодального мышления

CFPO вводит механизм перекрестной модальности с обратной логикой для улучшения причинной согласованности между визуальным восприятием и текстовым мышлением в моделях визуально-языковых систем. Оно обеспечивает рост на 3,17%–6,25% по сравнению с стандартными базовыми RL и на 1,32%–2,13% по сравнению с PAPO, без необходимости внешних вознаграждений или надзора.

arxiv arXiv cs.CL · 2 д назад

Расширение, основанное на оценке, для генерации экспертной оценки

Новая методика взаимодействия человека и ИИ, называемая расширением, основанное на оценке, позволяет генерировать ответственные экспертные оценки. Метод включает в себя предоставление экспертами оценочного утверждения, которое система расширяет в кандидаты на комментарии к оценке с помощью структурированного процесса генерации, проверки и уточнения. Исследование решает вопросы масштабируемой оценки и кураторства набора кандидатов, демонстрируя, что конформная предсказательная модель эффективно балансирует размер набора кандидатов и их охват.

arxiv arXiv cs.CL · 2 д назад

IMLogic Benchmark и RootMem Framework для неявного логического воспроизведения памяти

IMLogic — первый высококачественный бенчмарк для оценки неявного логического воспроизведения памяти в сценариях длительных диалогов. RootMem вводит структурированное, сохраняющее решения представление, называемое корневой памятью, для извлечения повторно используемых личных логических правил из истории пользователя, и использует роутер на основе LLM для активации релевантных памятей, превосходя существующие базовые методы по точности.

arxiv arXiv cs.CL · 2 д назад

Трансформаторы на основе энергии предсказывают сложность чтения

Трансформаторы на основе энергии демонстрируют устойчивую предсказательную силу в отношении времени чтения на нескольких корпусах и превосходят показатель неожиданности во всех случаях. Измерение энергии улавливает известные асимметрии объект-подлежащее в обработке относительных предложений и включает как энтропию внимания, так и неожиданность, что делает его универсальным показателем сложности чтения.

arxiv arXiv cs.CL · 2 д назад

Самостигма не является однородной: LLMs нуждаются в поддержке, учитывающей персонаж

Исследование 1174 пользователей Reddit выявило четыре различных персональных образа самостигмы. Модели, обученные распознавать эти персональные образы, превосходят универсальные модели при ответах на конкретные запросы, хотя клинические специалисты предпочитают универсальную эмпатию над эмпатией, соответствующей персональному образу. Исследование подчеркивает противоречие между персонализированной эмпатией и общей предпочтительностью пользователей в интервенциях ИИ, связанных со стигмой.

arxiv arXiv cs.CL · 2 д назад

ReasoningLens: иерархическая визуализация для больших моделей рассуждений

ReasoningLens представляет открытую платформу, которая визуализирует и проверяет следы длинных цепочек рассуждений в больших моделях рассуждений. Она структурирует рассуждения в виде интерактивных иерархий, использует агентского аудитора для обнаружения ошибок и выявляет специфические для модели слепые зоны через системные профили рассуждений.

arxiv arXiv cs.CL · 2 д назад

UnBias-Plus: Выявление, объяснение и переписывание предвзятости

UnBias-Plus — это открытый инструментарий, который позволяет проводить классификацию предвзятости на уровне сегментов, локализацию предвзятых фрагментов, переписывание нейтрального текста и рассуждение по принятию решений. Он предлагает несколько способов доступа, включая Python, командную строку, REST-интерфейс и веб-интерфейсы, при этом весь исходный код, модели, наборы данных и документация доступны в открытом доступе.

arxiv arXiv cs.CL · 2 д назад

TriggerBench: оценка перспективной памяти в больших языковых моделях

TriggerBench представляет бенчмарк для оценки перспективной памяти в больших языковых моделях, выявляя компромисс между точностью и выявлением, а также уязвимость внимания. Перспективная память оказывается значительно сложнее ретроспективной памяти и коррелирует с избыточной вычислительной способностью, что указывает на то, что PM отражает скрытые когнитивные ресурсы за пределами количества токенов.

arxiv arXiv cs.CL · 2 д назад

SelfCompact: Самодвижущийся сжатие контекста для языковых моделей

SelfCompact позволяет языковым моделям самостоятельно решать, когда и как сжимать накопленный контекст во время рассуждений. Сочетая инструмент сжатия, вызываемый моделью, с лёгкой шкалой, направляющей сжатие на основе структуры траектории, достигается эффективное адаптивное сжатие без тонкой настройки. Результаты показывают, что метод сопоставим или превосходит методы с фиксированным интервалом на задачах по математике и агентскому поиску, улучшая базовые значения на 18,1 пункта по математике и на 5–9 пунктов по поиску, при расходе на 30–70% меньше токенов.

arxiv arXiv cs.CL · 2 д назад

VeriEvol: масштабирование многомодальных математических рассуждений с верифицированной эволюцией

VeriEvol представляет верифицируемую систему построения данных для визуальных математических рассуждений, разделяя сложность запроса и надежность ответа. Он эволюционирует изображения-вопросы с использованием операторов, ориентированных на типы, и проверяет ответы с помощью многоканального противоречивого доказательства. На пяти бенчмарках масштабирование от 10K до 250K образцов повышает среднюю точность с 35.42 до 54.73, что составляет суммарный рост на +3.88 по сравнению с базовой версией, обусловленный эволюционированными запросами и верификацией HTV-Agent.

arxiv arXiv cs.CL · 2 д назад

LLMs не способны надежно отчетливо отражать влияние атак на предварительные заполнения

Никакие крупные языковые модели не способны надежно обнаруживать, когда их ответы были повлияны атаками на предварительные заполнения. Внутренние сигналы наиболее сильны в вопросах безопасности, но они зависят от выбора метода проверки и могут усиливаться при использовании LoRA-финтюнинга, что парадоксально повышает успешность атак.

arxiv arXiv cs.CL · 2 д назад

Случайный YaRN улучшает обобщение по длине для рассуждений с длинными контекстами

Случайный YaRN улучшает рассуждения с длинными контекстами, комбинируя позиционную экстраполяцию YaRN с случайным позиционным кодированием и куррикулом по длине. Он превосходит стандартную тонкую настройку на бенчмарках, таких как BABILong и MRCR, демонстрируя значительные преимущества на очень далеких от распределения длинах контекстов.

arxiv arXiv cs.CL · 2 д назад

Симметричные Q-сорты оценивают структурную согласованность с моральными ценностями в LLMs

Новый подход использует симметричные Q-сорты человека и LLM для оценки структурной согласованности больших языковых моделей с моральными ценностями. Сравнивая ранжирования 140 моральных утверждений по 12 LLM и образцу человека, исследование выявляет гетерогенность в рамках семей и локальные несоответствия, показывая, что общие оценки могут скрывать структурные дефекты. Результаты подчеркивают необходимость структурных оценок для дополнения традиционных моральных критериев на уровне элементов.

arxiv arXiv cs.CL · 2 д назад

На самом деле ли многозначные модели улучшаются? Изоляция истинного межязыкового переноса

Новый метрический показатель, Hardness Adjusted Transfer (HAT) Score, изолирует истинный межязыковый перенос, отделяя его от роста точности в исходном языке. Анализ 20 языковых моделей показывает, что межязыковый перенос в малых моделях не нарушён, прогресс с ростом размера модели медленнее, чем ожидалось, и зафиксированы ясные улучшения во времени.

arxiv arXiv cs.CL · 2 д назад

Могут ли LLMs управлять читаемостью на арабском?

Многоаспектная оценочная рамка оценивает генерацию арабского текста, управляемую CEFR, с помощью LLMs. Результаты показывают, что использование подсказок, управляемых CEFR и с лексическими ограничениями, обеспечивает высокую сопоставимость с лингвистическими профилями и предсказуемой читаемостью, в то время как неограниченные подсказки показывают слабое управление.

arxiv arXiv cs.CL · 2 д назад

Оценка больших языковых моделей для преобразования графем в звуки на японском языке

Исследование оценивает более 30 больших языковых моделей по преобразованию графем в звуки на японском языке с использованием 3000 ручно аннотированных предложений. Наиболее эффективные языковые модели достигают ошибки в канде-символах ниже 0,52%, превосходя лучшую традиционную систему (1,03%). Режим разбора, с применением правил послеобработки, показывает лучшие результаты по сравнению с прямым режимом для большинства моделей, и канды, предсказанные языковой моделью, улучшают произношение в речевых системах при вводе в TTS на основе канды.