arxiv arXiv cs.CL · 3 ч назад

Обнаружение позиции на уровне твитов без обучения с примерами, усиленное внешними знаниями и рефлексивным рассуждением по цепи мыслей

Исследователи предлагают KIRP — фреймворк обнаружения позиции без обучения с примерами (zero-shot), который решает проблему разреженности контекста и нерелевантности неявных целей в коротких текстах за счёт интеграции внешних знаний с рефлексивным рассуждением по цепи мыслей. В исследовании также представлена первая японская датасет на уровне твитов для обнаружения позиции, предназначенная для поддержки многозадачной оценки.

arxiv arXiv cs.CL · 3 ч назад

Устранение разрыва в качестве синтеза речи для малоресурсных языков: дообучение VoxCPM2 с помощью LoRA для кхмерского и корейского

Исследователи устраняют разрыв в качестве синтеза речи для малоресурсных языков путем дообучения модели VoxCPM2 на 2,4 млрд параметров с использованием адаптации низкого ранга (LoRA) на общем корпусе данных кхмерского и корейского языков.

arxiv arXiv cs.CL · 3 ч назад

Регуляризация активаций, направляемая SAE, для непрерывного обучения больших языковых моделей

В данной статье предлагается новый подход к проблеме катастрофического забывания в больших языковых моделях за счёт регуляризации в пространстве активаций с использованием предварительно обученных разреженных автоэнкодеров (SAE) в качестве словаря моносемантических признаков, вместо традиционных методов в пространстве весов, таких как Elastic Weight Consolidation (EWC).

arxiv arXiv cs.CL · 3 ч назад

CAT-Q: Экономичное и точное тернарное квантование для больших языковых моделей

Исследователи представляют CAT-Q, схему постобучающего квантования, которая сжимает большие языковые модели до тернарной точности без необходимости дорогостоящего обучения с учетом квантования. Метод использует обучаемую модуляцию и смягченное тернарирование для достижения высокой точности всего на 512 калибровочных выборках.

media Hugging Face Forums · 3 ч назад

Опыт аблиации языков с разными алфавитами?

Пользователь спрашивает об опыте аблиации мандаринского, русского и арабского языков из модели для создания версии, преимущественно основанной на латинице. Цель — освободить место для дальнейшего обучения или безопасного прунинга в контекстах, где английский не используется.

arxiv arXiv cs.CL · 4 ч назад

SocialPersona: Оценка персонализированного профилирования и ответов с использованием мультимодального контекста социальных сетей

Авторы представляют SocialPersona, бенчмарк, предназначенный для оценки способности мультимодальных больших языковых моделей (MLLM) восстанавливать выявленные предпочтения из лонгитюдных временных линий в социальных сетях и использовать их в диалоге. Эта работа устраняет ограничение текущих оценок, которые фокусируются только на явной памяти, проверяя способность модели выводить интересы из естественных мультимодальных следов.

arxiv arXiv cs.CL · 4 ч назад

LeanGuard: Быстрый и легкий подход к надежной модерации

В данной работе исследуется, действительно ли защитные механизмы требуют рассуждений по цепочке (chain-of-thought), путем обучения легковесного двунаправленного кодировщика совместно с основанным на рассуждениях защитным механизмом на одном и том же корпусе данных. Авторы обнаруживают, что удаление рассуждений не улучшает точность модерации, оспаривая распространенное мнение о необходимости пошагового мышления для эффективной модерации.

arxiv arXiv cs.CL · 4 ч назад

За пределами логических форм: паттерны, извлеченные LLM, для классификации логических ошибок

В данном исследовании изучается, улучшает ли объединение абстрактных логических структур с лингвистическими признаками на уровне контекста автоматическую классификацию логических ошибок, которые часто проявляются в тонких формах.

arxiv arXiv cs.CL · 4 ч назад

HyperDFlash: Блочное спекулятивное декодирование, выровненное по MHC, с затворным остаточным снижением

HyperDFlash — это фреймворк для блочно-параллельного спекулятивного декодирования, разработанный для решения проблем несоответствия признаков при адаптации DFlash к архитектуре multi-hyper-connection (MHC) модели DeepSeek-V4. Авторы предлагают две ключевые оптимизации: использование предсхлопнутых остаточных состояний для условной генерации и замена универсального линейного компрессора на легковесный затворный остаточный редуктор, унаследованный от гипер-соединительной головки модели.

arxiv arXiv cs.CL · 4 ч назад

Структура перед коллапсом: Преходящая семантическая геометрия в предсказании следующего токена

В этой статье исследуется, как языковые модели обучаются латентной семантической структуре, несмотря на обучение с использованием one-hot меток, которые теоретически устраняют общую статистику контекста. Авторы выявляют напряжение между теорией Neural Collapse и наблюдаемой способностью моделей захватывать категориальные признаки, такие как свойства объектов.

arxiv arXiv cs.CL · 4 ч назад

ConvMemory v3 вводит слой контекста действительности для диалоговой памяти

ConvMemory v3 добавляет слой контекста действительности для обнаружения и отображения доказательств обновлений в извлечённых воспоминаниях посредством верификации отношений, обусловленной целевым значением. Этот механизм располагается после стандартного пути извлечения и использует двойной затвор доказательств для оценки пар (target, source) на основе конкретных пропозиций.

arxiv arXiv cs.CL · 4 ч назад

Ловушки и проблемы оценки в извлечении событий из мультимедиа

В данной работе представлен первый систематический анализ ловушек оценки при извлечении событий из мультимедиа, выявляющий три основных источника проблем: непоследовательная обработка данных, непоследовательные предположения о задаче и слишком либеральные условия оценки.

arxiv arXiv cs.CL · 4 ч назад

Исследование воспроизводимости AlphaEdit: редактирование знаний с ограничением в нуль-пространстве

В данном исследовании воспроизводятся результаты метода AlphaEdit — проекции с ограничением в нуль-пространстве для редактирования знаний в языковых моделях, а также расширяется оценка на более новые архитектуры и более длинные горизонты последовательного редактирования. Авторы подтверждают, что AlphaEdit работает так, как заявлено в рамках его первоначальной области применения, но выявляют значительные ограничения в отношении обобщения и масштабируемости.

arxiv arXiv cs.CL · 4 ч назад

AIGP: Основанная на LLM система для долгосрочного согласования ценностей в ценообразовании электронной коммерции

Исследователи предлагают AIGP, систему, использующую большие языковые модели для решения проблем интерпретируемости и долгосрочного несоответствия целей в динамическом ценообразовании электронной коммерции. Система применяет контролируемое тонкое настраивание (supervised fine-tuning) и Оценщик долгосрочной ценности (Long-Term Value Estimator), обученный с помощью офлайн-усиленного обучения, для согласования решений по ценообразованию с бизнес-целями.

arxiv arXiv cs.CL · 4 ч назад

OPID: Дистилляция навыков on-policy для агентного обучения с подкреплением

Авторы предлагают OPID — фреймворк, который извлекает надзор по навыкам непосредственно из завершенных траекторий on-policy для решения проблемы разреженных наград в обучении с подкреплением, ориентированном на результат. Представляя ретроспективу траектории в виде иерархических навыков, OPID обеспечивает плотный надзор на уровне токенов с согласованным распределением без опоры на внешнюю память.

arxiv arXiv cs.CL · 5 ч назад

Вычислительное исследование лексической передачи в бенгальских преданных традициях

Компьютерное корпусное исследование анализирует связи лексики на восьми уровнях бенгальской и санскритской литературы преданных с VIII по XIX века, количественно подтверждая историческое утверждение о том, что лексика буддийского Ваджраяны была усвоена традицией Шакта-тантры. Используя векторизацию символьных n-грамм TF-IDF на 75 текстах, исследование предоставляет первое количественное подтверждение этой цепи лексической передачи.

arxiv arXiv cs.CL · 5 ч назад

KARLA: Дополнение базы знаний для извлечения информации языковыми моделями

Авторы предлагают KARLA — метод, позволяющий большим языковым моделям автоматически извлекать фактические знания из внешней базы знаний во время генерации токенов. Этот подход позволяет обновлять факты без переобучения модели и обеспечивает прослеживаемость результатов до исходных данных.

arxiv arXiv cs.CL · 5 ч назад

FBK: Long-form SpeechLLMs для IWSLT 2026 Instruction Following

В данной статье описывается подача FBK на общую задачу IWSLT 2026 Instruction Following, представляющая SpeechLLMs, разработанные как для коротких, так и для длинных форм следования инструкциям в условиях ограниченных ресурсов.

arxiv arXiv cs.CL · 5 ч назад

AgentX: К агент-управляемой самоитерации промышленных рекомендательных систем

AgentX — это развернутая в продакшене многоагентная система, предназначенная для автоматизации итераций промышленных рекомендательных систем, решающая проблему узкого места, при котором инновации масштабируются линейно в зависимости от количества сотрудников.

arxiv arXiv cs.CL · 5 ч назад

Каскадное многоуровневое прунинг-упрощение для вывода LLM на устройствах в промышленном IoT

В данной статье представлен каскадный фреймворк многоуровневого прунинга, предназначенный для развертывания больших языковых моделей на периферийных устройствах Промышленного Интернета Вещей (IIoT) путем удаления слоев, голов внимания и каналов прямого распространения в порядке от грубого к тонкому. Метод использует легковесное восстановление низкой ранговости между этапами для повторной оценки важности компонентов, решая проблему коллапса существующих методов структурированного прунинга при высоких коэффициентах сжатия.