Исследования показывают, что системы памяти агентов LLM переписывают неформальные или осторожные высказывания в уверенные утверждения с указанием даты, которые агенты впоследствии воспринимают как проверенные факты. Этот процесс позволяет непроверенной информации обходить проверки безопасности без участия активного злоумышленника, поскольку агент реагирует на уверенность формулировки, а не на атрибуцию источника.
В статье «предвзятость вмешательства» (intervention bias) определяется как критическая ошибка в работе образовательных консультантов на основе больших языковых моделей (LLM) в режиме zero-shot, при которой они ошибочно рекомендуют действие, несмотря на то, что оптимальные политики требуют бездействия. Используя набор данных Open University Learning Analytics Dataset, исследование показывает, что GPT-4o в режиме zero-shot демонстрирует уровень ложноположительных срабатываний на 43 процентных пункта к 56-му дню, что приводит примерно к 4 300 ненужным контактам с консультантом за цикл для 10 000 студентов.
Проект llama.cpp выпустил версию b9843, предоставляющую предварительно собранные бинарные файлы для macOS, Linux, Android, Windows и openEuler на различных аппаратных архитектурах.
Выпущена версия LangGraph 1.2.7, включающая исправления ошибок и обновления зависимостей для экосистемы LangChain.
В данном исследовании оценивается эффективность концентрации argmax на позиции top-1 как предупреждения о коллапсе во время дообучения дискретных диффузионных языковых моделей (DLM) с использованием Low-Rank Adaptation (LoRA). Авторы обнаруживают, что этот показатель имеет нулевую точность, поскольку насыщается до начала оптимизации и не способен выявлять фактические коллапсы обучения.
Исследователи представляют Целостный планировщик данных (HDS), новую онлайн-рамку смешивания данных, которая устраняет ограничения существующих методов за счёт учёта динамического состава данных по нескольким измерениям. HDS формулирует планирование данных как задачу обучения с подкреплением, используя алгоритм Soft Actor-Critic и многокритериальную функцию вознаграждения.
Исследователи предлагают сэмплер экстраполяции кумулятивной интенсивности с временной репараметризацией (TR-CIE) для улучшения качества выборки при дискретном согласовании потоков в условиях ограниченного числа вычислений функции. Метод сочетает репараметризацию времени на основе расписания с правилом обновления через экстраполяцию кумулятивной интенсивности, чтобы смягчить жёсткость и повысить точность аппроксимации.
В данной статье представлен AsyncOPD — полностью асинхронный конвейер дистилляции on-policy, который разделяет генерацию откликов и обновления обучаемой модели, чтобы устранить узкие места в обучении при постобучении больших языковых моделей. Авторы проводят первое систематическое исследование влияния устаревания данных в этом контексте, демонстрируя, что прямое расхождение Кульбака-Лейблера с весами учителя устойчиво к устаревшим откликам, тогда как обратное расхождение с весами ученика уязвимо.
Модель Krea-2-Turbo генерирует высококачественные изображения примерно за три секунды и поддерживает редактирование изображений с помощью маскирования, несмотря на то, что является архитектурой text-to-image.
Извлекатель HTML-таблиц — это инструмент преобразования по вставке, который принимает богатый текст, содержащий встроенные HTML-таблицы, и конвертирует их в различные форматы. Он поддерживает вывод обнаруженных таблиц в форматах HTML, Markdown, CSV, TSV или JSON.
Опубликовано двуязычное (на английском и испанском языках) руководство с открытым исходным кодом, подробно описывающее внутреннее устройство трансформеров. Ресурс охватывает точную математику и механику, лежащие в основе коллапса внимания и сжатия KV-кэша.
Независимый исследовательский проект LIMEN анализирует внутреннюю динамику семи моделей Transformer с открытым исходным кодом, выявляя, что семантическая неоднозначность изменяет геометрию траектории и обнаруживая универсальную динамическую грамматику во всех архитектурах.
Microsoft Research представляет Memora, масштабируемую агентную систему памяти, предназначенную для баланса между абстракцией и спецификой в задачах ИИ с длительным горизонтом. Система разделяет богатое содержание памяти и легкие структуры поиска, устанавливая новые рекорды на бенчмарках при использовании до 98% меньше контекстных токенов.
В статье утверждается, что современные модели генерации видео изучают лишь частичные, неявные пространственно-временные модели мира, а не полностью обоснованные или управляемые. Утверждается, что одного предиктивного реализма недостаточно для создания физических агентов, поскольку такие модели часто не способны идентифицировать управляемые переменные и ограничения воплощения.
Авторы представляют BehaviorBench, комплексный бенчмарк, предназначенный для оценки базовых моделей в различных задачах поведенческой науки и на разных популяциях. Исследование оценивает четыре ключевые способности — предсказание поведения, стратегическое принятие решений, вывод черт субъекта и применение поведенческих знаний — как на индивидуальном, так и на распределительном уровнях.
В статье утверждается, что инфраструктура обработки естественного языка для более чем миллиарда носителей индийских языков фрагментирована из-за отсутствия общих структурных основ. Предлагается использовать морфосинтаксическую архитектуру, формализованную в Аштадхьяи Панини, в качестве объединяющей вычислительной основы для повышения точности и эффективности использования данных.
В данном исследовании проводится бенчмарк традиционных методов машинного обучения против легковесных архитектур трансформеров для бинарного обнаружения неисправностей на трех публичных наборах данных, оцениваются компромиссы между точностью, размером модели и задержкой. Исследование оценивает классификационную производительность с использованием F1-меры и AUC, а также тестирует динамическое квантование INT8 и двухэтапный адаптивный конвейер вывода для оптимизации развертывания на оборудовании с ограниченными ресурсами.
Исследователи представляют Ariadne, модель только на декодере, которая переосмысливает ретросинтетическое планирование как генерацию последовательностей, обусловленную промптом, позволяя представлять целевые молекулы, ограничения и маршруты в одной последовательности. Этот подход устраняет необходимость в отдельных моделях, адаптированных под конкретные спецификации планирования.
В статье представлен пакет R и приложение Shiny, предназначенные для автоматизации визуальной оценки остаточных графиков линейных моделей, что решает проблемы масштабируемости и согласованности, присущие ручной оценке.
Этот пост в Reddit из r/LocalLLaMA — простое выражение благодарности пользователю /u/TheDankestSlav. Он содержит ссылку на изображение, опубликованное пользователем, которое описывается как «жемчужина».