В данной статье предлагается новый подход к проблеме катастрофического забывания в больших языковых моделях за счёт регуляризации в пространстве активаций с использованием предварительно обученных разреженных автоэнкодеров (SAE) в качестве словаря моносемантических признаков, вместо традиционных методов в пространстве весов, таких как Elastic Weight Consolidation (EWC).
Исследователи представляют CAT-Q, схему постобучающего квантования, которая сжимает большие языковые модели до тернарной точности без необходимости дорогостоящего обучения с учетом квантования. Метод использует обучаемую модуляцию и смягченное тернарирование для достижения высокой точности всего на 512 калибровочных выборках.
Пользователь спрашивает об опыте аблиации мандаринского, русского и арабского языков из модели для создания версии, преимущественно основанной на латинице. Цель — освободить место для дальнейшего обучения или безопасного прунинга в контекстах, где английский не используется.
Авторы представляют SocialPersona, бенчмарк, предназначенный для оценки способности мультимодальных больших языковых моделей (MLLM) восстанавливать выявленные предпочтения из лонгитюдных временных линий в социальных сетях и использовать их в диалоге. Эта работа устраняет ограничение текущих оценок, которые фокусируются только на явной памяти, проверяя способность модели выводить интересы из естественных мультимодальных следов.
В данной работе исследуется, действительно ли защитные механизмы требуют рассуждений по цепочке (chain-of-thought), путем обучения легковесного двунаправленного кодировщика совместно с основанным на рассуждениях защитным механизмом на одном и том же корпусе данных. Авторы обнаруживают, что удаление рассуждений не улучшает точность модерации, оспаривая распространенное мнение о необходимости пошагового мышления для эффективной модерации.
В данном исследовании изучается, улучшает ли объединение абстрактных логических структур с лингвистическими признаками на уровне контекста автоматическую классификацию логических ошибок, которые часто проявляются в тонких формах.
HyperDFlash — это фреймворк для блочно-параллельного спекулятивного декодирования, разработанный для решения проблем несоответствия признаков при адаптации DFlash к архитектуре multi-hyper-connection (MHC) модели DeepSeek-V4. Авторы предлагают две ключевые оптимизации: использование предсхлопнутых остаточных состояний для условной генерации и замена универсального линейного компрессора на легковесный затворный остаточный редуктор, унаследованный от гипер-соединительной головки модели.
В этой статье исследуется, как языковые модели обучаются латентной семантической структуре, несмотря на обучение с использованием one-hot меток, которые теоретически устраняют общую статистику контекста. Авторы выявляют напряжение между теорией Neural Collapse и наблюдаемой способностью моделей захватывать категориальные признаки, такие как свойства объектов.
ConvMemory v3 добавляет слой контекста действительности для обнаружения и отображения доказательств обновлений в извлечённых воспоминаниях посредством верификации отношений, обусловленной целевым значением. Этот механизм располагается после стандартного пути извлечения и использует двойной затвор доказательств для оценки пар (target, source) на основе конкретных пропозиций.
В данной работе представлен первый систематический анализ ловушек оценки при извлечении событий из мультимедиа, выявляющий три основных источника проблем: непоследовательная обработка данных, непоследовательные предположения о задаче и слишком либеральные условия оценки.
В данном исследовании воспроизводятся результаты метода AlphaEdit — проекции с ограничением в нуль-пространстве для редактирования знаний в языковых моделях, а также расширяется оценка на более новые архитектуры и более длинные горизонты последовательного редактирования. Авторы подтверждают, что AlphaEdit работает так, как заявлено в рамках его первоначальной области применения, но выявляют значительные ограничения в отношении обобщения и масштабируемости.
Исследователи предлагают AIGP, систему, использующую большие языковые модели для решения проблем интерпретируемости и долгосрочного несоответствия целей в динамическом ценообразовании электронной коммерции. Система применяет контролируемое тонкое настраивание (supervised fine-tuning) и Оценщик долгосрочной ценности (Long-Term Value Estimator), обученный с помощью офлайн-усиленного обучения, для согласования решений по ценообразованию с бизнес-целями.
Авторы предлагают OPID — фреймворк, который извлекает надзор по навыкам непосредственно из завершенных траекторий on-policy для решения проблемы разреженных наград в обучении с подкреплением, ориентированном на результат. Представляя ретроспективу траектории в виде иерархических навыков, OPID обеспечивает плотный надзор на уровне токенов с согласованным распределением без опоры на внешнюю память.
Компьютерное корпусное исследование анализирует связи лексики на восьми уровнях бенгальской и санскритской литературы преданных с VIII по XIX века, количественно подтверждая историческое утверждение о том, что лексика буддийского Ваджраяны была усвоена традицией Шакта-тантры. Используя векторизацию символьных n-грамм TF-IDF на 75 текстах, исследование предоставляет первое количественное подтверждение этой цепи лексической передачи.
Авторы предлагают KARLA — метод, позволяющий большим языковым моделям автоматически извлекать фактические знания из внешней базы знаний во время генерации токенов. Этот подход позволяет обновлять факты без переобучения модели и обеспечивает прослеживаемость результатов до исходных данных.
В данной статье описывается подача FBK на общую задачу IWSLT 2026 Instruction Following, представляющая SpeechLLMs, разработанные как для коротких, так и для длинных форм следования инструкциям в условиях ограниченных ресурсов.
AgentX — это развернутая в продакшене многоагентная система, предназначенная для автоматизации итераций промышленных рекомендательных систем, решающая проблему узкого места, при котором инновации масштабируются линейно в зависимости от количества сотрудников.
В данной статье представлен каскадный фреймворк многоуровневого прунинга, предназначенный для развертывания больших языковых моделей на периферийных устройствах Промышленного Интернета Вещей (IIoT) путем удаления слоев, голов внимания и каналов прямого распространения в порядке от грубого к тонкому. Метод использует легковесное восстановление низкой ранговости между этапами для повторной оценки важности компонентов, решая проблему коллапса существующих методов структурированного прунинга при высоких коэффициентах сжатия.
Исследователи представляют InfoKV, фреймворк, учитывающий энтропию, который сжимает ключ-значения кэши, объединяя предиктивную неопределённость на уровне токенов с баллами внимания для улучшения рассуждений в длинном контексте.
В данном исследовании показано, что замороженные языковые модели могут служить эффективными нейронными предикторами мозговой активности при естественном восприятии речи и текста, при этом разделяя предсказательную полезность и утверждения о.shared нейронной организации. Анализ данных МЭГ и ЭкоГ выявил повсеместные положительные приросты предсказуемости по сравнению с базовыми моделями низкого уровня, хотя преимущества на уровне участников были локализованы, а не равномерны.