arxiv arXiv cs.CL · 4 ч назад

Narrative-UFET: Генерация нарративов для ультра-тонкого типирования сущностей

Авторы представляют Narrative-UFET, контролируемое расширение ультра-тонкого типирования сущностей, которое сопоставляет упоминания сущностей с автоматически сгенерированными короткими нарративами для устранения ограничений в разрешении неоднозначности типов с длинным хвостом. Исследование демонстрирует, что контекст нарратива дает последовательные улучшения по сравнению с базовыми уровнями на уровне предложений, особенно когда тип сущности меняется внутри текста.

arxiv arXiv cs.CL · 4 ч назад

Модели потока маскированного языка

Авторы представляют модели потока маскированного языка (MLFMs), которые объединяют маскированную диффузию с непрерывными потоками для обеспечения эффективного многошагового рассуждения при генерации текста. Этот подход сокращает разрыв между эффективностью параллельной генерации и производительностью в сложных задачах, позволяя адаптировать предварительно обученные модели в MLFMs.

arxiv arXiv cs.CL · 4 ч назад

DysLexLens: Низкоресурсная LLM-фреймворк для анализа инсайтов дислексических обучающихся из онлайн-форумов

В данной статье представлен DysLexLens, низкоресурсный LLM-фреймворк, предназначенный для анализа опыта дислексических обучающихся при использовании ИИ-инструментов на основе обсуждений в онлайн-форумах. Система обеспечивает сквозную архитектуру с прослеживаемыми доказательствами, которая преобразует зашумленные посты из социальных сетей в сфокусированные корпусы и генерирует проверяемые ответы на запросы.

arxiv arXiv cs.CL · 4 ч назад

Обнаружение агрессивных комментариев на китайском языке между платформами с помощью метода добычи сложных примеров по двойному порогу

В данной статье рассматривается проблема снижения эффективности моделей обнаружения агрессивных комментариев при их развертывании на различных китайских платформах социальных сетей. Предложен метод добычи сложных примеров по двойному порогу.

media Hugging Face Forums · 4 ч назад

Архитектура поколенческого контекста: Решение проблемы «закисания» контекста в LLM

Архитектура поколенческого контекста (GCA) предлагает рассматривать окно контекста LLM как конечный срок жизни, а не бесконечное хранилище, чтобы решить проблему «закисания» контекста и размытия внимания в многоагентных системах. Насилие искусственной смертности приводит к тому, что агенты завершаются до деградации производительности, передавая своё состояние новым поколениям через плоский Markdown-хранилище.

arxiv arXiv cs.CL · 5 ч назад

Yuvion LLM: Большая языковая модель, учитывающая противоборствующие атаки, для безопасности контента и ИИ

Yuvion LLM — это новая большая языковая модель, предназначенная для устранения сбоев в области безопасности за счёт рассмотрения устойчивости к противоборствующим атакам и агентных возможностей как первичных целей. Она использует конвейер, сочетающий создание данных с учётом противоборствующих атак, продолженное предобучение с усилением знаний и многозадачное постобучение безопасности на основе политик.

arxiv arXiv cs.CL · 5 ч назад

DiscoBench: бенчмарк для глубокого поиска с учётом уточнений

Авторы представляют DiscoBench — бенчмарк, предназначенный для оценки способности поисковых агентов на базе больших языковых моделей проактивно выявлять неоднозначность и задавать эффективные уточняющие вопросы в ходе задач глубокого поиска. В отличие от существующих бенчмарков, которые предполагают полноту пользовательских запросов, данная фреймворк учитывает реальность нечётких или недостаточно специфицированных запросов в реальных сценариях.

arxiv arXiv cs.CL · 5 ч назад

Факторизованное исследование оценки неопределённости на основе проб в LLM

В данном исследовании проводится факторизованный анализ оценки неопределённости на основе проб для определения того, что определяет производительность при обнаружении галлюцинаций в больших языковых моделях. Исследование изолирует переменные по дизайну признаков, обучающим данным и условиям оценки, чтобы предоставить чёткие выводы об эффективных методологиях.

arxiv arXiv cs.CL · 5 ч назад

Текстуальные состояния убеждений для моделей мира: идентифицируемое обучение представлений при строгой медиации

В данной статье рассматривается проблема неидентифицируемых латентных состояний в моделях мира на основе LLM, вызванная обходом истории, и предлагается строгая медиация латентных состояний для её решения. Авторы вводят текстуальные латентные состояния и факторизованный GRPO (fGRPO) — метод обучения с подкреплением древовидной структуры, обеспечивающий строгую медиацию во время обучения.

media Hugging Face Forums · 5 ч назад

Анализ динамики скрытых состояний в 7 моделях LLM с открытым весом выявляет повторяющиеся функциональные паттерны

Независимый исследователь проанализировал эволюцию скрытых представлений во время инференса на семи моделях с открытым весом, включая GPT-2, OPT-125M и Llama-3.2-1B, чтобы выявить внутренние динамические режимы за пределами стандартных бенчмарков вывода.

media Hugging Face Forums · 5 ч назад

Исследование функциональных режимов внутри малых языковых моделей

Этот независимый исследовательский проект характеризует внутреннюю динамику семи малых и средних языковых моделей, анализируя эволюцию скрытых представлений во время вывода, а не полагаясь на стандартные выходные бенчмарки. Исследование изучает динамическое поведение, функциональную организацию и геометрию представлений для выявления воспроизводимых паттернов в различных архитектурах.

media Hugging Face Forums · 5 ч назад

Предсказатель Чемпионата мира 2026

Разработчик создал инструмент прогнозирования Чемпионата мира 2026, который использует исторические данные для симуляции результатов турнира. Приложение предоставляет вероятности победы и прогнозы счета для любых двух национальных команд на основе паттернов, изученных примерно из 50 000 международных матчей, охватывающих более века.

media Hugging Face Forums · 5 ч назад

Комплексное двуязычное руководство по Трансформерам: от основ до сжатия KV-кэша и динамики внимания

Карлес Марин выпустил открытый двуязычный (английский и испанский) гид, который связывает математические основы архитектур Трансформеров с их практической реализацией. Ресурс фокусируется на низкоуровневой механике, предоставляя воспроизводимый код и интерактивные элементы для объяснения сложных тем.

media Hugging Face Forums · 5 ч назад

Опубликовано двуязычное руководство по механике трансформеров с открытым исходным кодом

Опубликовано двуязычное (английский/испанский) руководство с открытым исходным кодом, подробно описывающее внутреннее устройство трансформеров. Ресурс охватывает точную математику и механику таких концепций, как коллапс внимания и сжатие KV-кэша.

arxiv arXiv cs.CL · 6 ч назад

Смягчение p-hacking на основе LLM через пререгистрацию для следующей LLM

Исследователи предлагают протокол для смягчения p-hacking в исследованиях больших языковых моделей (LLM) путем пререгистрации экспериментов и проведения подтверждающего анализа на первой доступной LLM, выпущенной после принятия обязательств. Этот подход предотвращает настройку промптов или параметров исследователями для достижения желаемых результатов, поскольку целевая модель еще не существует на момент пререгистрации.

arxiv arXiv cs.CL · 6 ч назад

Совместная транскрипция и расшифровка изображений зашифрованных рукописных документов: сравнение с традиционным конвейером

Исследователи предлагают метод Direct Image Decryption, подход «от конца к концу», который отображает зашифрованные изображения рукописей непосредственно в открытый текст, минуя промежуточный этап транскрипции, используемый в традиционных конвейерах. Используя шифр Копиале в качестве примера, авторы сравнивают эту совместную архитектуру с традиционным двухэтапным методом: сначала транскрипция, затем расшифровка.

arxiv arXiv cs.CL · 6 ч назад

Снижение позиционной предвзятости в трансформерах посредством масштабирования позиционных эмбеддингов для каждого слоя

Исследователи предлагают масштабирование позиционных эмбеддингов для каждого слоя (LPES) для решения проблемы «потери в середине» в больших языковых моделях, когда критически важная информация в длинных контекстах часто недопредставлена. Этот метод назначает различные коэффициенты масштабирования каждому слою трансформера для достижения более сбалансированного распределения внимания без необходимости тонкой настройки параметров или увеличения задержки вывода.

arxiv arXiv cs.CL · 6 ч назад

Условная настройка персонажа с низкой приятностью для безопасной донастройки LLM

Недавние исследования показывают, что донастройка больших языковых моделей на социальную теплоту ухудшает фактическую надежность и усиливает угодничество, а также ослабляет устойчивость к вредоносным атакам. Данное исследование изучает, обусловлен ли этот режим отказа эмпатической адаптацией или артефактами конструирования данных.

arxiv arXiv cs.CL · 6 ч назад

Обобщают ли модели выделения речевого акцента свои способности для разных языков и эмоций?

В статье представлен MMEE — многоязычный корпус многоэмоциональных данных, содержащий 10 000 экспрессивных высказываний на семи языках и 34 категории эмоций, предназначенный для оценки моделей обнаружения речевого акцента. В работе оценивается, насколько хорошо эти модели обобщают знания в различных лингвистических и эмоциональных контекстах по сравнению с традиционным обучением на одноязычных нейтральных речевых данных.

arxiv arXiv cs.CL · 6 ч назад

Улучшение численного прогнозирования в LLM с помощью гладкого выравнивания MMD

Исследователи предлагают Smooth Maximum Mean Discrepancy (SMMD) для устранения ненадежности больших языковых моделей в задачах, требующих высокой числовой точности, вызванной стандартными целями обучения на основе перекрестной энтропии. SMMD включает ядра расстояния значений над числовыми токенами и графовую гладкость для выравнивания предсказанных распределений с целевыми, одновременно способствуя локальной согласованности.