arxiv arXiv cs.CL · 3 ч назад

Улучшение численного прогнозирования в LLM с помощью гладкого выравнивания MMD

Исследователи предлагают Smooth Maximum Mean Discrepancy (SMMD) для устранения ненадежности больших языковых моделей в задачах, требующих высокой числовой точности, вызванной стандартными целями обучения на основе перекрестной энтропии. SMMD включает ядра расстояния значений над числовыми токенами и графовую гладкость для выравнивания предсказанных распределений с целевыми, одновременно способствуя локальной согласованности.

arxiv arXiv cs.CL · 3 ч назад

KG2Cypher: ориентированный на данные конвейер для создания корпоративных систем преобразования текста в Cypher

Исследователи представляют KG2Cypher, ориентированный на данные конвейер, предназначенный для создания корпоративных систем преобразования текста в Cypher на основе существующих графов знаний. Система генерирует исполняемые запросы Cypher из фактов графа и использует большие языковые модели (LLM) для создания соответствующих вопросов на естественном языке.

arxiv arXiv cs.CL · 3 ч назад

Стратегии временного слияния для распознавания именованных сущностей в исторических текстах

В данном исследовании изучается, как временные метаданные могут быть структурно внедрены в модели распознавания именованных сущностей (NER) для решения проблемы дрейфа сущностей в исторических текстах. Авторы систематически оценивают легкие стратегии слияния, включая кросс-внимание, адаптеры и конкатенацию, в архитектурах на основе трансформеров.

arxiv arXiv cs.CL · 4 ч назад

Затраты на выделение пространства вывода для сжатия LLM с калибровкой: эмпирическое исследование

В данном исследовании изучается, улучшает ли согласование затрат с целями пространства вывода точность сжатых больших языковых моделей, в частности проверяется модификация метода сжатия ROCKET. Авторы сравнивают использование ошибки Фробениуса в пространстве весов с целью реконструкции вывода для распределения по задаче о рюкзаке.

arxiv arXiv cs.CL · 4 ч назад

SHIFT: Управление активацией через вентили для смягчения конфликтов знаний

В статье представлен SHIFT — новая архитектура, которая смягчает конфликты знаний в Retrieval-Augmented Generation (RAG), переформулируя модификацию на уровне нейронов как обучаемую модуляцию вентилей. Этот подход позволяет большим языковым моделям адаптивно регулировать внутренние активации для разрешения конфликтов между извлечённым контекстом и параметрическими знаниями.

arxiv arXiv cs.CL · 4 ч назад

Выбор слоёв с полным вниманием, направляемый NLL, для адаптации скользящего окна без дообучения

Исследователи предлагают метод без дообучения для выбора слоёв в гибридных моделях внимания, которые должны сохранять полное внимание, решая проблему неэффективности фиксированных паттернов при выводе на длинных контекстах. Измеряя деградацию отрицательного логарифмического правдоподобия на токенах ответа, подход определяет слои, критичные для поддержания точности при переключении на скользящее окно.

arxiv arXiv cs.CL · 4 ч назад

Коррекция позиционного смещения недостаточна для однопроходной сортировки внимания

Исследование изучает, позволяет ли коррекция позиционного смещения однопроходной сортировке внимания достичь производительности итеративных методов в языковых моделях с длинным контекстом. Эксперименты на моделях LLaMA-2 и YaRN-Llama-2 опровергают гипотезу о том, что одного только дебиасинга достаточно для устранения разрыва в производительности.

arxiv arXiv cs.CL · 4 ч назад

Изучение моделирования комплементарных действий по инструкциям по техническому обслуживанию автомобилей

В статье вводится задача моделирования комплементарных действий (CAM), ориентированная на выявление или генерацию процедурных аналогов в инструкциях по техническому обслуживанию автомобилей путем изменения только фразы действия при сохранении остального контекста предложения.

arxiv arXiv cs.CL · 4 ч назад

Триада Волков: роль Шута для многошагового понимания теории разума в больших языковых моделях

Исследователи расширили игру «Волки и овцы», добавив роль Шута, чтобы создать триадную среду социального дедуктирования, требующую рассуждений над тремя противоположными функциями полезности, что бросает вызов возможностям больших языковых моделей в области теории разума. Оценки на GPT-4.1, DeepSeek-V3.1 и Llama-3.3-70B показали, что хотя Шут выигрывал 60–70% игр, волки GPT-4.1 часто голосовали за изгнание Шута в первый день в 60–70% случаев — это самоподрывающее действие, обусловленное языковыми приоритетами.

arxiv arXiv cs.CL · 4 ч назад

Решение геометрических задач с верификацией: Автоформализация и предложение теорем на основе решателя

Исследователи предлагают SD-GPS, фреймворк для решения геометрических задач, управляемый решателем, который устраняет узкие места в автоформализации и предсказании теорем, рассматривая символьный решатель как оракул выполнения. Этот подход объединяет адаптированное формального языка с учителем (supervised) и обучение с подкреплением, направляемое выполнимостью, чтобы обеспечить исполняемость во время формализации.

arxiv arXiv cs.CL · 4 ч назад

VASAE: Именование направлений словаря SAE с помощью привязки к словарю

Авторы представляют Vocabulary-Aligned Sparse Autoencoder (VASAE), метод, который обучает признаки разреженного автоэнкодера с использованием привязки к словарю для присвоения каждому признаку внутреннего имени токена на основе ближайшего вложения в словаре Трансформера.

arxiv arXiv cs.CL · 4 ч назад

Убеждающее позиционирование ИИ в коллективных дилеммах

Исследование с участием 1283 человек проверило, могут ли ИИ-ассистенты повысить уровень сотрудничества в повторяющихся играх коллективного риска посредством персонализированного убеждающего позиционирования на основе профилей ориентации социальной ценности. Исследование показало, что хотя просоциальные подталкивания значительно увеличили объемы взносов и показатели успеха группы, эти эффекты были кратковременными.

arxiv arXiv cs.CL · 5 ч назад

Эмпирический анализ фактических ошибок в текстах, написанных человеком, и его применение

В данном исследовании рассматривается проблема игнорирования обнаружения фактических ошибок в текстах, написанных человеком, путем выделения таксономии ошибок из исправлений в газетных статьях. Выявлены категории, такие как неверное использование кандзи, отсутствующие в текущих бенчмарках галлюцинаций. Авторы оценивают базовые большие языковые модели на синтезированных тестовых случаях и реальных исправлениях для оценки их производительности в этой конкретной задаче.

arxiv arXiv cs.CL · 5 ч назад

Многоэтапная объяснимая система для выявления когнитивных нарушений по речи

Исследователи предлагают многоэтапную систему объяснимости, которая преобразует предсказания «черного ящика» трансформеров в клинически обоснованные нарративы для выявления когнитивных нарушений по речи. Система объединяет токеновую атрибуцию на основе SHAP, лингвистические признаки и конвейер рассуждений LLM для сопоставления выходов модели с конкретными когнитивно-лингвистическими измерениями.

arxiv arXiv cs.CL · 5 ч назад

ToxiREX: Набор данных по токсичному REasoning в ConteXt

Исследователи представляют ToxiREX, новый многоязычный набор данных, предназначенный для выявления и объяснения неявной, зависящей от контекста токсичности в ветках комментариев Reddit. Набор данных использует систематическую схему токсичного REasoning для предоставления структурированных аннотаций к комментариям, связанным с крупными глобальными событиями, на шести языках.

arxiv arXiv cs.CL · 5 ч назад

Диалог к обнаружению: мультимодальный гибридный NLP-конвейер для выявления мошенничества со страховыми выплатами

В данной статье представлен синтетический мультимодальный фреймворк, предназначенный для репликации условий подачи первоначального заявления о потере (FNOL) при выявлении страховых мошенничеств, что позволяет преодолеть ограничения существующих подходов, основанных исключительно на тексте. Система генерирует транскрипты диалогов между агентом и клиентом, а также аудиозаписи с двумя говорящими для интеграции лингвистических, поведенческих и голосовых индикаторов.

arxiv arXiv cs.CL · 5 ч назад

Матрица покрытия сигналов: Стратификация ошибок типа и семантических ошибок при автоматической формализации утверждений

В данной статье представлена матрица покрытия сигналов для стратификации ошибок типа и семантических ошибок в процессе автоматической формализации LLM, что позволяет выйти за рамки скалярных метрик корректности типа. Фреймворк классифицирует выходные данные на ячейки истинного успеха, только ошибка типа, только ошибка семантики или оба вида неудач, пересекая результаты элаборатора Lean с оценками семантической эквивалентности.

arxiv arXiv cs.CL · 5 ч назад

Гибридный подход на основе дерева мыслей для суммаризации судебных решений

В данном исследовании предлагается новый гибридный подход к суммаризации, вдохновленный концепцией дерева мыслей (tree-of-thoughts), ориентированный на извлечение и генерацию текста в контексте судебных решений. Это решает проблему недостаточного изучения гибридных методов в предыдущих работах. Эксперименты, сравнивающие модели DeepSeek и LLaMA, показывают, что предложенный метод дает более качественные суммаризации по сравнению с традиционными методами на основе извлечения или генерации текста.

arxiv arXiv cs.CL · 5 ч назад

DG^VoiC: Кластеризация говорящих для расследования мошенничества в условиях реальных колл-центров

В данной статье представлен DG^VoiC, фреймворк кластеризации голоса, предназначенный для выявления повторяющихся говорящих в анонимизированных аудиозаписях реальных колл-центров с целью помощи в расследовании мошенничества. Метод сочетает анонимизацию, согласованную со_sensitive информацией_, предобработку, ориентированную на речь, извлечение эмбеддингов говорящих скользящим окном и кластеризацию на основе косинусного сходства.

arxiv arXiv cs.CL · 5 ч назад

LLM хуже оценивают, чем генерируют в контекстном QA

Исследование ставит под сомнение предположение о том, что большие языковые модели лучше оценивают собственные выходные данные, чем генерируют их, и показывает, что точность генерации превышает точность самооценки на трёх из четырёх протестированных бенчмарков. Исследование использует контролируемую настройку контекстного QA для изоляции производительности оценки от помех параметрических знаний.