В данном исследовании проводится факторизованный анализ оценки неопределённости на основе проб для определения того, что определяет производительность при обнаружении галлюцинаций в больших языковых моделях. Исследование изолирует переменные по дизайну признаков, обучающим данным и условиям оценки, чтобы предоставить чёткие выводы об эффективных методологиях.
В данной статье рассматривается проблема неидентифицируемых латентных состояний в моделях мира на основе LLM, вызванная обходом истории, и предлагается строгая медиация латентных состояний для её решения. Авторы вводят текстуальные латентные состояния и факторизованный GRPO (fGRPO) — метод обучения с подкреплением древовидной структуры, обеспечивающий строгую медиацию во время обучения.
Независимый исследователь проанализировал эволюцию скрытых представлений во время инференса на семи моделях с открытым весом, включая GPT-2, OPT-125M и Llama-3.2-1B, чтобы выявить внутренние динамические режимы за пределами стандартных бенчмарков вывода.
Этот независимый исследовательский проект характеризует внутреннюю динамику семи малых и средних языковых моделей, анализируя эволюцию скрытых представлений во время вывода, а не полагаясь на стандартные выходные бенчмарки. Исследование изучает динамическое поведение, функциональную организацию и геометрию представлений для выявления воспроизводимых паттернов в различных архитектурах.
Разработчик создал инструмент прогнозирования Чемпионата мира 2026, который использует исторические данные для симуляции результатов турнира. Приложение предоставляет вероятности победы и прогнозы счета для любых двух национальных команд на основе паттернов, изученных примерно из 50 000 международных матчей, охватывающих более века.
Карлес Марин выпустил открытый двуязычный (английский и испанский) гид, который связывает математические основы архитектур Трансформеров с их практической реализацией. Ресурс фокусируется на низкоуровневой механике, предоставляя воспроизводимый код и интерактивные элементы для объяснения сложных тем.
Опубликовано двуязычное (английский/испанский) руководство с открытым исходным кодом, подробно описывающее внутреннее устройство трансформеров. Ресурс охватывает точную математику и механику таких концепций, как коллапс внимания и сжатие KV-кэша.
Исследователи предлагают протокол для смягчения p-hacking в исследованиях больших языковых моделей (LLM) путем пререгистрации экспериментов и проведения подтверждающего анализа на первой доступной LLM, выпущенной после принятия обязательств. Этот подход предотвращает настройку промптов или параметров исследователями для достижения желаемых результатов, поскольку целевая модель еще не существует на момент пререгистрации.
Исследователи предлагают метод Direct Image Decryption, подход «от конца к концу», который отображает зашифрованные изображения рукописей непосредственно в открытый текст, минуя промежуточный этап транскрипции, используемый в традиционных конвейерах. Используя шифр Копиале в качестве примера, авторы сравнивают эту совместную архитектуру с традиционным двухэтапным методом: сначала транскрипция, затем расшифровка.
Исследователи предлагают масштабирование позиционных эмбеддингов для каждого слоя (LPES) для решения проблемы «потери в середине» в больших языковых моделях, когда критически важная информация в длинных контекстах часто недопредставлена. Этот метод назначает различные коэффициенты масштабирования каждому слою трансформера для достижения более сбалансированного распределения внимания без необходимости тонкой настройки параметров или увеличения задержки вывода.
Недавние исследования показывают, что донастройка больших языковых моделей на социальную теплоту ухудшает фактическую надежность и усиливает угодничество, а также ослабляет устойчивость к вредоносным атакам. Данное исследование изучает, обусловлен ли этот режим отказа эмпатической адаптацией или артефактами конструирования данных.
В статье представлен MMEE — многоязычный корпус многоэмоциональных данных, содержащий 10 000 экспрессивных высказываний на семи языках и 34 категории эмоций, предназначенный для оценки моделей обнаружения речевого акцента. В работе оценивается, насколько хорошо эти модели обобщают знания в различных лингвистических и эмоциональных контекстах по сравнению с традиционным обучением на одноязычных нейтральных речевых данных.
Исследователи предлагают Smooth Maximum Mean Discrepancy (SMMD) для устранения ненадежности больших языковых моделей в задачах, требующих высокой числовой точности, вызванной стандартными целями обучения на основе перекрестной энтропии. SMMD включает ядра расстояния значений над числовыми токенами и графовую гладкость для выравнивания предсказанных распределений с целевыми, одновременно способствуя локальной согласованности.
Исследователи представляют KG2Cypher, ориентированный на данные конвейер, предназначенный для создания корпоративных систем преобразования текста в Cypher на основе существующих графов знаний. Система генерирует исполняемые запросы Cypher из фактов графа и использует большие языковые модели (LLM) для создания соответствующих вопросов на естественном языке.
В данном исследовании изучается, как временные метаданные могут быть структурно внедрены в модели распознавания именованных сущностей (NER) для решения проблемы дрейфа сущностей в исторических текстах. Авторы систематически оценивают легкие стратегии слияния, включая кросс-внимание, адаптеры и конкатенацию, в архитектурах на основе трансформеров.
В данном исследовании изучается, улучшает ли согласование затрат с целями пространства вывода точность сжатых больших языковых моделей, в частности проверяется модификация метода сжатия ROCKET. Авторы сравнивают использование ошибки Фробениуса в пространстве весов с целью реконструкции вывода для распределения по задаче о рюкзаке.
В статье представлен SHIFT — новая архитектура, которая смягчает конфликты знаний в Retrieval-Augmented Generation (RAG), переформулируя модификацию на уровне нейронов как обучаемую модуляцию вентилей. Этот подход позволяет большим языковым моделям адаптивно регулировать внутренние активации для разрешения конфликтов между извлечённым контекстом и параметрическими знаниями.
Исследователи предлагают метод без дообучения для выбора слоёв в гибридных моделях внимания, которые должны сохранять полное внимание, решая проблему неэффективности фиксированных паттернов при выводе на длинных контекстах. Измеряя деградацию отрицательного логарифмического правдоподобия на токенах ответа, подход определяет слои, критичные для поддержания точности при переключении на скользящее окно.
Исследование изучает, позволяет ли коррекция позиционного смещения однопроходной сортировке внимания достичь производительности итеративных методов в языковых моделях с длинным контекстом. Эксперименты на моделях LLaMA-2 и YaRN-Llama-2 опровергают гипотезу о том, что одного только дебиасинга достаточно для устранения разрыва в производительности.
В статье вводится задача моделирования комплементарных действий (CAM), ориентированная на выявление или генерацию процедурных аналогов в инструкциях по техническому обслуживанию автомобилей путем изменения только фразы действия при сохранении остального контекста предложения.