arxiv arXiv cs.CL · 2 д назад

Двухканальный фреймворк для преобразования LaTeX с учетом шаблонов

Новый двуходовой фреймворк разделяет форматирование шаблона от обработки документа, используя отдельный оффлайн-канал для извлечения ограничений шаблона в повторно используемый манифест и онлайн-канал с гибридной схемой. Он ограничивает использование ИИ-моделей только для задач логического анализа, таких как обработка метаданных и библиографических данных, при этом применяет системы на основе правил для детерминированных операций, что повышает структурную точность, соответствие формату и успешность компиляции по сравнению с базовыми методами.

arxiv arXiv cs.CL · 2 д назад

Саморазвитие агентов, использующих инструменты, через обучение предпочтений в точках разрыва

ToolGraph повышает эффективность агентов, использующих инструменты в многоходовых сессиях, интегрируя схему топологии, веса переходов и контроль, учитывающий историю. Обучение с DPO на 161 паре предпочтений в точках разрыва улучшает производительность: ToolGraph+DPO достигает роста награды на 16,8% по сравнению с базовой версией, особенно в задачах авиационного и розничного сектора, где появление положительных наград выступает ключевым диагностическим сигналом.

arxiv arXiv cs.CL · 2 д назад

PRIDE: Метод расширения знаний с использованием привилегированных данных для генерации диалогов с эмпатией

PRIDE представляет метод сжатия знаний, который передает эмпатические рассуждения из больших моделей в более маленькие, используя привилегированные данные, доступные только в период обучения. Метод достигает конкурентоспособных или превосходных результатов на задачах, связанных с эмпатией, за счёт использования структурированных промптов, мультиисточниковой внимания и двойного потерь синхронизации.

media Hugging Face Forums · 2 д назад

Самые интересные теоретические темы ИИ с реальной базой ИИ-систем

Разговор охватывает теоретические темы ИИ, имеющие математические основания и возможность реализации в современных ИИ-системах, таких как большие языковые модели. Темы включают цепочки рассуждений, графы знаний и вероятностное рассуждение, все из которых основаны на формальной математике и демонстрируют потенциал для реальных применений в ИИ.

arxiv arXiv cs.CL · 2 д назад

Язык формирует историческую кредитность в больших языковых моделях

Исследование 11 больших языковых моделей по 21 спорному изобретению показывает, что язык запроса систематически влияет на того, кого признают изобретателем. Потенциальные заявители с более низким статусом чаще появляются при формулировке вопросов на их родном языке, в то время как доминирующие англоязычные фигуры остаются стабильными. Результаты указывают на то, что язык действует как переключатель, активирующий различные национальные версии истории, что свидетельствует о том, что большие языковые модели функционируют как системы культурной памяти.

arxiv arXiv cs.CL · 2 д назад

DART: Обучение-бесплатное перенаправление для адаптивных бюджетов мышления

DART позволяет гибридным моделям мышления перенаправлять запросы между прямым ответом и расширенным мышлением без использования обучающих данных. Он использует два черновых варианта без мышления для определения режима ответа и оценивает бюджет мышления на основе несогласия черновых вариантов. DART повышает точность на 9,0 баллов в математике и на 22,5 баллов в кодовом мышлении, одновременно снижая количество токенов мышления на 15-69% и 51-63% соответственно.

arxiv arXiv cs.CL · 2 д назад

Контагиозное распространение памяти: распространение предвзятости в памяти агентов

Исследователи выявили явление Контагиозного распространения памяти, при котором предвзятость оценщика распространяется во времени в памяти агентов. Даже при идеальной консолидации памяти предвзятость распространяется на будущих агентов, извлекающих информацию из той же памяти, и обнаруживается при уровне p=0,2. Эффект варьируется в зависимости от типа предвзятости: предвзятость по длине ослабляется, в то время как предвзятость по авторитету усиливается, что указывает на зависимость от типа предвзятости.

arxiv arXiv cs.CL · 2 д назад

Анализ задачоспецифичности врожденной самокоррекции

Исследование изучает, в каких случаях врожденная самокоррекция работает, анализируя ее производительность в различных структурах задач. Исследование показывает, что самокоррекция обеспечивает стабильные преимущества только тогда, когда задача поддерживает явную проверку ограничений, пересмотр сложных рассуждений или оценку стратегии. Результаты показывают, что самокоррекция эффективна только в определенных контекстах задач, а не универсально.

arxiv arXiv cs.CL · 2 д назад

CFPO: Counterfactual Policy Optimization для многомодального мышления

CFPO вводит механизм перекрестной модальности с обратной логикой для улучшения причинной согласованности между визуальным восприятием и текстовым мышлением в моделях визуально-языковых систем. Оно обеспечивает рост на 3,17%–6,25% по сравнению с стандартными базовыми RL и на 1,32%–2,13% по сравнению с PAPO, без необходимости внешних вознаграждений или надзора.

arxiv arXiv cs.CL · 2 д назад

Расширение, основанное на оценке, для генерации экспертной оценки

Новая методика взаимодействия человека и ИИ, называемая расширением, основанное на оценке, позволяет генерировать ответственные экспертные оценки. Метод включает в себя предоставление экспертами оценочного утверждения, которое система расширяет в кандидаты на комментарии к оценке с помощью структурированного процесса генерации, проверки и уточнения. Исследование решает вопросы масштабируемой оценки и кураторства набора кандидатов, демонстрируя, что конформная предсказательная модель эффективно балансирует размер набора кандидатов и их охват.

arxiv arXiv cs.CL · 2 д назад

IMLogic Benchmark и RootMem Framework для неявного логического воспроизведения памяти

IMLogic — первый высококачественный бенчмарк для оценки неявного логического воспроизведения памяти в сценариях длительных диалогов. RootMem вводит структурированное, сохраняющее решения представление, называемое корневой памятью, для извлечения повторно используемых личных логических правил из истории пользователя, и использует роутер на основе LLM для активации релевантных памятей, превосходя существующие базовые методы по точности.

arxiv arXiv cs.CL · 2 д назад

Трансформаторы на основе энергии предсказывают сложность чтения

Трансформаторы на основе энергии демонстрируют устойчивую предсказательную силу в отношении времени чтения на нескольких корпусах и превосходят показатель неожиданности во всех случаях. Измерение энергии улавливает известные асимметрии объект-подлежащее в обработке относительных предложений и включает как энтропию внимания, так и неожиданность, что делает его универсальным показателем сложности чтения.

arxiv arXiv cs.CL · 2 д назад

Самостигма не является однородной: LLMs нуждаются в поддержке, учитывающей персонаж

Исследование 1174 пользователей Reddit выявило четыре различных персональных образа самостигмы. Модели, обученные распознавать эти персональные образы, превосходят универсальные модели при ответах на конкретные запросы, хотя клинические специалисты предпочитают универсальную эмпатию над эмпатией, соответствующей персональному образу. Исследование подчеркивает противоречие между персонализированной эмпатией и общей предпочтительностью пользователей в интервенциях ИИ, связанных со стигмой.

arxiv arXiv cs.CL · 2 д назад

ReasoningLens: иерархическая визуализация для больших моделей рассуждений

ReasoningLens представляет открытую платформу, которая визуализирует и проверяет следы длинных цепочек рассуждений в больших моделях рассуждений. Она структурирует рассуждения в виде интерактивных иерархий, использует агентского аудитора для обнаружения ошибок и выявляет специфические для модели слепые зоны через системные профили рассуждений.

arxiv arXiv cs.CL · 2 д назад

UnBias-Plus: Выявление, объяснение и переписывание предвзятости

UnBias-Plus — это открытый инструментарий, который позволяет проводить классификацию предвзятости на уровне сегментов, локализацию предвзятых фрагментов, переписывание нейтрального текста и рассуждение по принятию решений. Он предлагает несколько способов доступа, включая Python, командную строку, REST-интерфейс и веб-интерфейсы, при этом весь исходный код, модели, наборы данных и документация доступны в открытом доступе.

arxiv arXiv cs.CL · 2 д назад

TriggerBench: оценка перспективной памяти в больших языковых моделях

TriggerBench представляет бенчмарк для оценки перспективной памяти в больших языковых моделях, выявляя компромисс между точностью и выявлением, а также уязвимость внимания. Перспективная память оказывается значительно сложнее ретроспективной памяти и коррелирует с избыточной вычислительной способностью, что указывает на то, что PM отражает скрытые когнитивные ресурсы за пределами количества токенов.

arxiv arXiv cs.CL · 2 д назад

SelfCompact: Самодвижущийся сжатие контекста для языковых моделей

SelfCompact позволяет языковым моделям самостоятельно решать, когда и как сжимать накопленный контекст во время рассуждений. Сочетая инструмент сжатия, вызываемый моделью, с лёгкой шкалой, направляющей сжатие на основе структуры траектории, достигается эффективное адаптивное сжатие без тонкой настройки. Результаты показывают, что метод сопоставим или превосходит методы с фиксированным интервалом на задачах по математике и агентскому поиску, улучшая базовые значения на 18,1 пункта по математике и на 5–9 пунктов по поиску, при расходе на 30–70% меньше токенов.

arxiv arXiv cs.CL · 2 д назад

VeriEvol: масштабирование многомодальных математических рассуждений с верифицированной эволюцией

VeriEvol представляет верифицируемую систему построения данных для визуальных математических рассуждений, разделяя сложность запроса и надежность ответа. Он эволюционирует изображения-вопросы с использованием операторов, ориентированных на типы, и проверяет ответы с помощью многоканального противоречивого доказательства. На пяти бенчмарках масштабирование от 10K до 250K образцов повышает среднюю точность с 35.42 до 54.73, что составляет суммарный рост на +3.88 по сравнению с базовой версией, обусловленный эволюционированными запросами и верификацией HTV-Agent.

arxiv arXiv cs.CL · 2 д назад

LLMs не способны надежно отчетливо отражать влияние атак на предварительные заполнения

Никакие крупные языковые модели не способны надежно обнаруживать, когда их ответы были повлияны атаками на предварительные заполнения. Внутренние сигналы наиболее сильны в вопросах безопасности, но они зависят от выбора метода проверки и могут усиливаться при использовании LoRA-финтюнинга, что парадоксально повышает успешность атак.

arxiv arXiv cs.CL · 2 д назад

Случайный YaRN улучшает обобщение по длине для рассуждений с длинными контекстами

Случайный YaRN улучшает рассуждения с длинными контекстами, комбинируя позиционную экстраполяцию YaRN с случайным позиционным кодированием и куррикулом по длине. Он превосходит стандартную тонкую настройку на бенчмарках, таких как BABILong и MRCR, демонстрируя значительные преимущества на очень далеких от распределения длинах контекстов.