arxiv arXiv cs.CL · 3 ч назад

HyperDFlash: Блочное спекулятивное декодирование, выровненное по MHC, с затворным остаточным снижением

HyperDFlash — это фреймворк для блочно-параллельного спекулятивного декодирования, разработанный для решения проблем несоответствия признаков при адаптации DFlash к архитектуре multi-hyper-connection (MHC) модели DeepSeek-V4. Авторы предлагают две ключевые оптимизации: использование предсхлопнутых остаточных состояний для условной генерации и замена универсального линейного компрессора на легковесный затворный остаточный редуктор, унаследованный от гипер-соединительной головки модели.

arxiv arXiv cs.CL · 3 ч назад

Структура перед коллапсом: Преходящая семантическая геометрия в предсказании следующего токена

В этой статье исследуется, как языковые модели обучаются латентной семантической структуре, несмотря на обучение с использованием one-hot меток, которые теоретически устраняют общую статистику контекста. Авторы выявляют напряжение между теорией Neural Collapse и наблюдаемой способностью моделей захватывать категориальные признаки, такие как свойства объектов.

arxiv arXiv cs.CL · 3 ч назад

ConvMemory v3 вводит слой контекста действительности для диалоговой памяти

ConvMemory v3 добавляет слой контекста действительности для обнаружения и отображения доказательств обновлений в извлечённых воспоминаниях посредством верификации отношений, обусловленной целевым значением. Этот механизм располагается после стандартного пути извлечения и использует двойной затвор доказательств для оценки пар (target, source) на основе конкретных пропозиций.

arxiv arXiv cs.CL · 3 ч назад

Ловушки и проблемы оценки в извлечении событий из мультимедиа

В данной работе представлен первый систематический анализ ловушек оценки при извлечении событий из мультимедиа, выявляющий три основных источника проблем: непоследовательная обработка данных, непоследовательные предположения о задаче и слишком либеральные условия оценки.

arxiv arXiv cs.CL · 3 ч назад

Исследование воспроизводимости AlphaEdit: редактирование знаний с ограничением в нуль-пространстве

В данном исследовании воспроизводятся результаты метода AlphaEdit — проекции с ограничением в нуль-пространстве для редактирования знаний в языковых моделях, а также расширяется оценка на более новые архитектуры и более длинные горизонты последовательного редактирования. Авторы подтверждают, что AlphaEdit работает так, как заявлено в рамках его первоначальной области применения, но выявляют значительные ограничения в отношении обобщения и масштабируемости.

arxiv arXiv cs.CL · 3 ч назад

AIGP: Основанная на LLM система для долгосрочного согласования ценностей в ценообразовании электронной коммерции

Исследователи предлагают AIGP, систему, использующую большие языковые модели для решения проблем интерпретируемости и долгосрочного несоответствия целей в динамическом ценообразовании электронной коммерции. Система применяет контролируемое тонкое настраивание (supervised fine-tuning) и Оценщик долгосрочной ценности (Long-Term Value Estimator), обученный с помощью офлайн-усиленного обучения, для согласования решений по ценообразованию с бизнес-целями.

arxiv arXiv cs.CL · 3 ч назад

OPID: Дистилляция навыков on-policy для агентного обучения с подкреплением

Авторы предлагают OPID — фреймворк, который извлекает надзор по навыкам непосредственно из завершенных траекторий on-policy для решения проблемы разреженных наград в обучении с подкреплением, ориентированном на результат. Представляя ретроспективу траектории в виде иерархических навыков, OPID обеспечивает плотный надзор на уровне токенов с согласованным распределением без опоры на внешнюю память.

arxiv arXiv cs.CL · 5 ч назад

Вычислительное исследование лексической передачи в бенгальских преданных традициях

Компьютерное корпусное исследование анализирует связи лексики на восьми уровнях бенгальской и санскритской литературы преданных с VIII по XIX века, количественно подтверждая историческое утверждение о том, что лексика буддийского Ваджраяны была усвоена традицией Шакта-тантры. Используя векторизацию символьных n-грамм TF-IDF на 75 текстах, исследование предоставляет первое количественное подтверждение этой цепи лексической передачи.

arxiv arXiv cs.CL · 5 ч назад

KARLA: Дополнение базы знаний для извлечения информации языковыми моделями

Авторы предлагают KARLA — метод, позволяющий большим языковым моделям автоматически извлекать фактические знания из внешней базы знаний во время генерации токенов. Этот подход позволяет обновлять факты без переобучения модели и обеспечивает прослеживаемость результатов до исходных данных.

arxiv arXiv cs.CL · 5 ч назад

FBK: Long-form SpeechLLMs для IWSLT 2026 Instruction Following

В данной статье описывается подача FBK на общую задачу IWSLT 2026 Instruction Following, представляющая SpeechLLMs, разработанные как для коротких, так и для длинных форм следования инструкциям в условиях ограниченных ресурсов.

arxiv arXiv cs.CL · 5 ч назад

AgentX: К агент-управляемой самоитерации промышленных рекомендательных систем

AgentX — это развернутая в продакшене многоагентная система, предназначенная для автоматизации итераций промышленных рекомендательных систем, решающая проблему узкого места, при котором инновации масштабируются линейно в зависимости от количества сотрудников.

arxiv arXiv cs.CL · 5 ч назад

Каскадное многоуровневое прунинг-упрощение для вывода LLM на устройствах в промышленном IoT

В данной статье представлен каскадный фреймворк многоуровневого прунинга, предназначенный для развертывания больших языковых моделей на периферийных устройствах Промышленного Интернета Вещей (IIoT) путем удаления слоев, голов внимания и каналов прямого распространения в порядке от грубого к тонкому. Метод использует легковесное восстановление низкой ранговости между этапами для повторной оценки важности компонентов, решая проблему коллапса существующих методов структурированного прунинга при высоких коэффициентах сжатия.

arxiv arXiv cs.CL · 5 ч назад

InfoKV: Сжатие KV-кэша с учётом информации для длинных рассуждений

Исследователи представляют InfoKV, фреймворк, учитывающий энтропию, который сжимает ключ-значения кэши, объединяя предиктивную неопределённость на уровне токенов с баллами внимания для улучшения рассуждений в длинном контексте.

arxiv arXiv cs.CL · 5 ч назад

Гетерогенная нейронная предсказуемость языковых моделей при естественном понимании

В данном исследовании показано, что замороженные языковые модели могут служить эффективными нейронными предикторами мозговой активности при естественном восприятии речи и текста, при этом разделяя предсказательную полезность и утверждения о.shared нейронной организации. Анализ данных МЭГ и ЭкоГ выявил повсеместные положительные приросты предсказуемости по сравнению с базовыми моделями низкого уровня, хотя преимущества на уровне участников были локализованы, а не равномерны.

arxiv arXiv cs.CL · 5 ч назад

SamaVaani: Аудит и устранение смещения в многоязычной клинической ASR для индийских языков

В данном исследовании проводится аудит надежности восьми современных моделей автоматического распознавания речи на реальных данных психиатрических интервью на каннада, хинди и индийском английском. Результаты выявляют значительную вариативность между моделями и языками: некоторые системы демонстрируют конкурентоспособные результаты для индийского английского, но терпят неудачу при распознавании региональной речи.

arxiv arXiv cs.CL · 5 ч назад

GAVEL: Проверка и локализация ошибок в заземлённых подписях

Модации зрения и языка часто генерируют галлюцинированные выводы, где текст и изображения не совпадают, что требует методов, которые не только обнаруживают эти ошибки, но и объясняют их и локализуют визуальные доказательства. Авторы представляют GAVEL — задачу, предназначенную для совместного решения вопросов верификации, объяснения и локализации для пар изображений-текста, сопровождаемую соответствующим набором данных и бенчмарком.

arxiv arXiv cs.CL · 5 ч назад

Взлом для среднестатистического пользователя: выбор оптимальных взломов с помощью алгоритмов бандитов

В данном исследовании изучается возможность успешного взлома больших языковых моделей неопытными злоумышленниками путем использования алгоритмов бандитов для выбора оптимальных атак и улучшения запросов. Авторы предлагают новую стратегию атаки на основе многоармочного бандита, позволяющую эффективно обучаться лучшему взлому из большого набора вариантов через зашумленное исследование.

arxiv arXiv cs.CL · 6 ч назад

Индукция иерархии, центрированной на терминах, из гетерогенных корпусов

Исследователи предлагают терм-центричную структуру для индукции иерархических таксономий из разнообразных текстовых источников, устраняя ограничения существующих методов, опирающихся на представления уровня документа. Этот подход отображает документы в общее пространство представлений посредством автоматического извлечения терминов, что обеспечивает надежное выравнивание между источниками и построение интерпретируемых иерархий.

arxiv arXiv cs.CL · 6 ч назад

RedVox: Пробелы в безопасности и справедливости моделей речи на разных языках

Новое исследование выявляет значительные пробелы в безопасности и справедливости многоязычных моделей речи, обнаруживая, что лишь 8% современных релизов документируют какой-либо многоязычный анализ. Чтобы решить эту проблему, авторы представляют RedVox — бенчмарк, основанный на реальных голосах, охватывающий небезопасные запросы на пяти языках.

arxiv arXiv cs.CL · 6 ч назад

Мировые модели Эйнштейна: Визуализация контрфактов для рассуждений LLM

В статье представлены мировые модели Эйнштейна (EWMs) — фреймворк, предназначенный для улучшения рассуждений больших языковых моделей за счёт интеграции визуальных временных разверток в цепочку рассуждений. Этот подход позволяет моделям использовать мысленные эксперименты в качестве проверяемых гипотез для дополнения обработки на основе текста.