arxiv arXiv cs.LG · 6 ч назад

Диффузионные интегрированные градиенты: управляемая генерация путей для гибкого атрибутирования признаков

Авторы предлагают метод Diffusion Integrated Gradients (DiffIG), новый подход, который переформулирует генерацию путей как задачу условного генеративного моделирования для преодоления ограничений существующих методов атрибуции. Хотя интегрированные градиенты широко используются, их зависимость от фиксированных или вручную сконструированных путей часто приводит к зашумленным или искаженным атрибутам. Для решения этой проблемы DiffIG обучает диффузионную модель для изучения распределения по путям, полученным из процесса Стик-Брейкинг (Stick-Breaking Process). Затем метод использует направленную выборку (guided sampling), чтобы позволить внедрение пользовательских указаний в процедуру сэмплирования во время вывода. Этот подход обеспечивает гибкое и управляемое атрибутирование признаков, рассматривая выбор пути как генеративную задачу, а не статический выбор. Экспериментальные результаты демонстрируют, что DiffIG количественно соответствует или превосходит существующие методы на основе путей с точки зрения качества атрибуции. Кроме того, показано, что сгенерированные объяснения перцептивно согласуются с человеческими ожиданиями. Работа вводит новую генеративную перспективу для объяснимого искусственного интеллекта, поддерживающую динамический контроль над путями объяснений.

arxiv arXiv cs.LG · 6 ч назад

Первый анализ конечного времени для классического Adam в негладкой невыпуклой оптимизации

В данном исследовании представлен первый анализ сходимости за конечное время для классического оптимизатора Adam, конкретно рассматривающий его поведение в условиях негладкой невыпуклой оптимизации. Предыдущие исследования либо игнорировали член коррекции смещения Adam, либо требовали дополнительных модификаций алгоритма, таких как обрезка (clipping), оставляя гарантии оригинального метода неясными. Авторы используют框架 преобразования Online-to-Nonconvex для доказательства того, что случайным образом масштабированный темп обучения обеспечивает скорость сходимости $1/T^{\frac{2}{13}}$. Этот теоретический результат имеет важное значение, поскольку он применим к современному режиму тяжелых хвостов шума, который более точно отражает практические условия обучения. Кроме того, анализ устанавливает сходимость при выборе параметров, где $β_1=β_2$, что согласуется с недавними эмпирическими наблюдениями. Эти результаты дают строгое объяснение эффективности Adam в реальных сценариях, которые ранее адекватно не описывались теориями гладкой оптимизации.

arxiv arXiv cs.LG · 6 ч назад

Куркулярное обучение с подкреплением, учитывающее границы, расширяет способность к рассуждению больших языковых моделей за пределы ограничений базовой модели

Авторы утверждают, что основной подход обучения с подкреплением с проверяемыми наградами (RLVR) часто не способен расширить способность к рассуждению больших языковых моделей, ограничиваясь лишь перераспределением вероятностей среди существующих траекторий. Чтобы устранить это ограничение, они предлагают метод куркулярного обучения с подкреплением, учитывающего границы, направленный на преодоление эмпирической границы способности к рассуждению базовой модели. Метод сначала использует выборку pass@k для определения текущих пределов рассуждения, а затем применяет целенаправленное руководство учителя к примерам, находящимся вблизи этой границы или за ее пределами. Обучение с подкреплением затем используется для закрепления этих новых паттернов рассуждения на базовых моделях Qwen, Llama и DeepSeek. Экспериментальные результаты демонстрируют значительное улучшение как показателей pass@1, так и pass@256, которые служат прокси-метрикой для границы способности к рассуждению. В частности, средний показатель pass@256 улучшился на 9,8 процентных пункта по сравнению с базовыми моделями и на 10,3 процентных пункта по сравнению с базовым RLVR (Vanilla RLVR). Эти выводы указывают на то, что данная стратегия на основе куррикулума предлагает масштабируемый путь для непрерывного улучшения способностей к рассуждению больших языковых моделей.

arxiv arXiv cs.LG · 6 ч назад

Синки внимания и коллапс — универсальные следствия маршрутизации на основе контента

Исследование демонстрирует, что синки внимания, коллапс представлений и стратификация норм не являются уникальными для архитектур трансформеров, а представляют собой неотъемлемые следствия маршрутизации на основе контента при фиксированной метрике сходства. Устанавливается тождество, показывающее, что функции внимания softmax выступают в качестве агрегации с весами Больцмана по евклидовым расстояниям при постоянных нормах ключей, делая их нечувствительными к величине ключа из-за отсутствия специфического нормировочного члена. Эта рамка предсказывает, что любой маршрутизатор, использующий метрику, плохо согласованную с его представлениями, будет компенсировать это путем концентрации маршрутизации и коллапса маршрутизируемых представлений. Авторы проверяют эту гипотезу на разнообразных моделях, включая девять предварительно обученных трансформеров, графовые сети внимания, модели селективного пространственного состояния, рекуррентные миксеры и обучаемые остаточные слои. Экспериментальные результаты подтверждают, что все протестированные архитектуры демонстрируют этот идентичный признак коллапса независимо от их конкретной области или структуры. Кроме того, аблиационные исследования внутри модели выделяют механизм маршрутизации как основную причину, а не случайные динамики обучения. Показано, что начало этого явления зависит от силы позиционного тормоза, сопровождающего контентный счет, что может смещать эффект в пределах его диапазона. Однако лежащий в основе механизм остается и

arxiv arXiv cs.LG · 6 ч назад

Отсутствие обобщения без эталона в квантовом машинном обучении

В данном исследовании рассматривается проблема идентифицируемости в квантовом машинном обучении, когда обучающие данные не имеют предпочтительного базиса или системы отсчета. Авторы формулируют задачу обучения с учителем без внешнего квантового эталона, требуя от классификаторов сохранения унитарных симметрий, не нарушенных обучающими данными. Они доказывают, что если обучающие состояния не порождают полное гильбертово пространство, то все чистые состояния, ортогональные этому подпространству, получают одинаковые предсказания. Это ограничение возникает из-за отсутствия эталонной информации, а не из-за ограничений на различение состояний или вычислительных возможностей. Исследование устанавливает устойчивую версию в условиях слабого нарушения симметрии и показывает, что обучение общим концепциям требует экспоненциально большого числа ориентированных обучающих направлений. Численные иллюстрации визуализируют коллапс предсказаний и его контролируемое смягчение. Результаты показывают, что отображения признаков, базисы измерений и разнообразные обучающие состояния являются необходимыми операционными ресурсами для обобщения.

arxiv arXiv cs.LG · 7 ч назад

Нуль-калиброванный конформный отбор через оценки принадлежности к цели

В статье представлен метод нуль-калиброванного конформного отбора (NCCS), который использует оценки вероятности принадлежности к цели для выявления кандидатов в тесте внутри целевой области при контроле уровня ложных открытий. Авторы утверждают, что эти оценки принадлежности обеспечивают более естественный ранжирование для задач отбора по сравнению с традиционными показателями несогласованности, ориентированными на прогнозирование, особенно для сложных целей. Это различие имеет критическое значение для целей со значениями в виде интервалов, управляемых дисперсией, многомодальных или многоусловных, где традиционные показатели могут не соответствовать мощности отбора. NCCS ранжирует тестовые оценки по подтвержденным примерам калибровки с нулевым результатом (не-цель), чтобы получить валидные для конечной выборки нулевые p-значения при условии нулевой обменности. Эти p-значения могут быть объединены с процедурой Бенjamини-Екутиели при произвольной зависимости или с процедурой Бенjamини-Хохберга при стандартных условиях положительной зависимости. Эксперименты демонстрируют, что оценки принадлежности совпадают с традиционными показателями на монотонных по среднему значениях целях, но существенно улучшают производительность на целях, управляемых дисперсией. В режимах редких целей NCCS жертвует мощностью ради нулевой валидности для конечной выборки, решая проблемы, при которых прямое пороговое значение эмпирического FDP (False Discovery Proportion) может быть излишне оптимистичным.

arxiv arXiv cs.LG · 7 ч назад

Послойная аннигиляция потока для сэмплирования апостериорного распределения в регрессии в пространстве функций и обратных задачах

Авторы представляют Flow Annealing Posterior Sampling (FAPS), новую рамку, объединяющую регрессию стохастических процессов с обратными задачами УЧП в пространстве функций. Опираясь на предварительно обученные априорные распределения для flow-matching в пространстве функций, FAPS обеспечивает апостериорный вывод, направляемый правдоподобием, на основе разреженных и зашумленных наблюдений. Метод поддерживает различные дискретизации точек запроса и избегает необходимости явной оценки плотности априорного распределения во время сэмплирования. Он использует механизм коррекции Ланжевена, который применяет предобусловливатель низкого ранга для использования доминирующих корреляций в пространстве функций между различными дискретизациями. Тестирование на гауссовских и не-гауссовских стохастических процессах показывает, что FAPS генерирует согласованные апостериорные выборки с точной количественной оценкой неопределенности. Подход значительно превосходит существующие базовые методы функциональной регрессии в этих стандартных задачах. Кроме того, он демонстрирует конкурентоспособную или превосходную производительность в зашумленных обратных задачах УЧП по сравнению с диффузионными сэмплерами при одновременном снижении затрат на сэмплирование во время тестирования.

media r/LocalLLaMA · 7 ч назад

Сэмплер и верификатор с возвратом назад кардинально улучшают производительность маленьких моделей в задачах программирования

Новый сэмплер с возвратом назад, объединенный с моделью-верификатором, значительно повышает качество кодогенерации у крошечных моделей объемом 0.5B параметров, потенциально делая их конкурентоспособными по сравнению с моделями класса 2–4B без изменения весов. Этот подход теоретически решает проблему галлюцинаций в больших моделях за счет исправления ошибок во время генерации путем повторного сэмплирования. Однако данный метод приводит к снижению скорости декодирования на 5–30% из-за необходимости выполнения обратных проходов и требует обучения модели-верификатора, сопоставимой по размеру с исходной. Это требование удваивает использование VRAM и увеличивает вычислительные затраты в 1,5–3 раза по сравнению со стандартным инференсом. Несмотря на эти издержки, верификатор обобщается на модели равного или меньшего веса, если он обучен на разнообразных распределениях данных. Обучение верификатора очень эффективно и требует лишь около 0,01% от объема токенов, используемых для полного предварительного обучения.

arxiv arXiv cs.CL · 8 ч назад

Ткань формального мышления: Объединение строгого синтаксического валидирования с обученными структурными представлениями

Авторы представляют Weave of Formal Thought (WoFT), парадигму, сочетающую строгое синтаксическое валидирование с обученными структурными представлениями для генерации кода. Подход использует формальный движок и ограниченный декодер, которые являются корректными и полными относительно полной спецификации Tree-sitter. За счет дополнения обобщенного LR-разбора спекулятивным лексическим анализом система поддерживает гипотезы состояний лексера параллельно, допуская валидные префиксы программ и отклоняя невалидные. Кроме того, WoFT применяет тонкую настройку с латентными переменными для обучения моделей напрямую вплетать нетерминальные символы грамматики в процесс генерации. Этот метод использует алгоритм переобвешенного wake-sleep для оптимизации важностно-взвешенной нижней границы доказательства (ELBO) поверхностного текста. Модель учится избирательно сохранять формальные выводы в качестве адаптивной структурной черновиковой памяти во время вывода. Эксперименты на Python показывают, что тонкая настройка StarCoder2-3B с данной целевой функцией снижает перетоковую кросс-энтропию на 14,3% по сравнению с базовой линией, использующей только текст.

lab OpenAI News · 9 ч назад

Исследование OpenAI: ИИ-агенты трансформируют работу

Новый исследовательский документ от OpenAI демонстрирует, как агенты искусственного интеллекта фундаментально меняют характер труда. В исследовании подчеркивается способность этих агентов выполнять более длительные и сложные задачи по сравнению с тем, что было возможно ранее. Этот технологический прорыв способствует росту производительности в самых разных профессиональных ролях. Результаты указывают на существенный сдвиг в организации и выполнении работы благодаря автоматизации. Обрабатывая сложные рабочие процессы, ИИ-агенты позволяют пользователям достигать большей эффективности. Документ служит доказательством растущего влияния автономных систем на современную занятость.

arxiv arXiv cs.CL · 9 ч назад

Tatoxa: новая система детоксикации текстов для малоресурсного татарского языка

В статье представлена Tatoxa — современная система, предназначенная для автоматической детоксикации текстов на малоресурсном татарском языке. Эта работа решает проблему недостатка исследовательского внимания к смягчению последствий оскорбительного контента в языках с ограниченными цифровыми ресурсами. Авторы представляют новый набор данных, специально созданный для тонкой настройки и оценки моделей детоксикации в условиях таких ограничений. Сравнительные эксперименты показывают, что Tatoxa превосходит как существующие модели больших языковых моделей с открытым исходным кодом, так и проприетарные коммерческие решения по ключевым метрикам качества. Кроме того, исследование изучает возможности кросс-язычного переноса для оценки целесообразности использования данных из других языков. Результаты указывают на то, что обучение на родных татарских данных значительно эффективнее, чем перенос знаний из культурно близких языков, таких как русский. Даже при наличии большого корпуса русских текстов кросс-язычные подходы показывают худшие результаты по сравнению с моделями, обученными исключительно на нативных татарских текстах.

arxiv arXiv cs.CL · 9 ч назад

Обнаружение, отмена обучения и восстановление: защита моделей суммаризации текста от отравления данных

Исследование рассматривает угрозу отравления данных на этапе обучения при тонкой настройке моделей абстрактной суммаризации текста. Злоумышленники манипулируют небольшими специфичными для задачи наборами данных, чтобы вызвать устойчивые ошибки суммаризации, сохраняя при этом стандартные показатели оценки. Предлагается единая пост-гочная (post-hoc) защитная рамка для обнаружения и устранения отравления во всей цепочке поставок машинного обучения. В условиях white-box обнаружение опирается на анализ функций влияния, выявляющий аномально высокое влияние обучения в отравленных парах. Защитные механизмы black-box используют поведенческий аудит, основанный на повышенной чувствительности к возмущениям, сохраняющим семантику. Авторы представляют новые атаки, направленные на искажение фактов и репрезентативное смещение, которые обходят традиционные системы оповещения. Эксперименты с девятью архитектурами и шестью бенчмарками показывают точность обнаружения 85-92% для предложенных защитных механизмов. Отмена обучения методом градиентного восхождения восстанавливает до 96% исходного поведения при снижении показателя ROUGE менее чем на 0,6%.

arxiv arXiv cs.CL · 10 ч назад

Естественное забывание: асимметричный контроль того, какие правила переживают препетрен

Исследование выявило феномен «естественного забывания» (natural ungrokking), при котором небольшие языковые модели теряют изученные грамматические правила на полпути препетрена, несмотря на то, что доказательства их существования остаются в данных. Исследователи наблюдали, как модель, обучающаяся согласованию местоимений и рода с Sue, упала с точности 0,94 до уровня, близкого к нулю, к шагу 3500 без какого-либо соответствующего всплеска на кривой функции потерь. Выживание этих правил определяется частотой поддержки в обучающей выборке, тогда как отношение данных к параметрам лишь модулирует глубину падения. Эта динамика возникновения и последующего коллапса была воспроизведена на нескольких корпусах, бюджетах и начальных условиях (seeds) и подтверждена на публичных контрольных точках Pythia, где глубина коллапса коррелировала с масштабом модели. Процесс забывания действует как механизм вытеснения, при котором конкурирующий поверхностный паттерн побеждает правило, заставляя маржу логарифмической вероятности пересечь ноль в течение 100 шагов после поведенческого отказа. Контроль над этой судьбой асимметричен: хотя введение контрдоказательств может уничтожить правила посредством монотонной зависимости «доза-эффект», восстановление поддержки даже на уровне, в 450 раз превышающем поддерживающий уровень, не позволяет их восстановить.

arxiv arXiv cs.CL · 10 ч назад

Слепота к лексикону ключевых слов искажает измерение риторической позиции

Исследование, проанализировавшее 85 интервью с четырьмя публичными интеллектуалами, показывает, что оценка на основе ключевых слов может создавать статистические артефакты в отношении риторической позиции. Первоначальный анализ выявил устойчивую закономерность совместного появления негативной аффективности и категоричной уверенности с высокими коэффициентами корреляции, варьирующимися от r = 0,72 до 0,93. Однако замена этого метода на семантическую классификацию LLM в режиме zero-shot для всего диааризированного корпуса из 32 625 предложений значительно снизила эти корреляции. Например, корреляция Далио упала с 0,851 до 0,206, тогда как у других спикеров наблюдалась отрицательная или нулевая связь между негативностью и уверенностью. Напротив, анализ LLM выявил сильную связь между негативным сентиментом и языком оговорок (hedging), что соответствует обычным ожиданиям относительно пессимистичного дискурса. Расхождение обусловлено тремя структурными недостатками лексиконов ключевых слов: синтаксической слепотой, слепотой к полисемии и отсутствием категорий. Эти недостатки могут инвертировать семантическое значение, например, оценивая фразу 'никогда абсолютно полностью уверен' как высокую уверенность. Авторы утверждают, что подсчет ключевых слов измеряет тенденции к лексическому совместному появлению, а не эпистемическую уверенность, что представляет собой категориальную ошибку.

arxiv arXiv cs.CL · 11 ч назад

Структурирование арабско-английского машиночитаемого словаря с использованием грамматик парсинга выражений

В данной статье представлен метод структурирования машиночитаемой версии арабско-английского словаря Аль-Маврид, решающий проблему отсутствия стандартизации в печатных форматах. Подход преобразует неструктурированные потоки слов и знаков препинания в явные иерархические структуры, определяющие компоненты записей, такие как подзаписи, метки областей применения и переводные эквиваленты. Парсинг выступает центральным этапом в каскадной архитектуре, реализованной с использованием формализма грамматик парсинга выражений (Parsing Expression Grammars). Этот метод позволяет автоматизировать или полуавтоматизировать организацию словарных записей несмотря на отсутствие стандартизации микроструктуры в арабских словарях. Исследование демонстрирует, что индукция микроструктуры обеспечивает правдоподобную точность при структурировании этих сложных лексикографических ресурсов. Преобразуя исходный текст в определенные форматы, работа поддерживает последующие приложения обработки естественного языка, требующие машиночитаемых лексических данных.

arxiv arXiv cs.CL · 11 ч назад

Автоматическое генерирование аннотаций к научным статьям на основе обучения с использованием промптов

В данном исследовании изучается обучение с использованием промптов для автоматического генерирования аннотаций к научным статьям с целью решения проблемы отсутствия размеченных обучающих данных в существующих методах, основанных на обучении с учителем. Исследователи разработали специфичные для задачи шаблоны промптов, объединённые с аннотациями статей, в качестве входных данных для нескольких языковых моделей, включая локально развёрнутые GPT-2 и T5, а также ChatGPT, доступный через API. Эксперименты, проведённые на трёх наборах данных, показали, что ChatGPT с использованием шаблонов промптов достиг производительности, сопоставимой с предыдущими методами, основанными на обучении с учителем, без необходимости в специфичных для задачи обучающих примерах. При добавлении небольшого числа примеров в промпты модель значительно превзошла передовые методы на двух из наборов данных. Анализ выявил, что, хотя ChatGPT обладает сильными способностями к языковому моделированию, его производительность сильно зависит от конкретной информации, предоставляемой в промпте. Кейс-стади показали, что сгенерированные аннотации, как правило, связны, информативны и тесно напоминают те, что написаны самими авторами. Этот подход не опирается на специфичные для предметной области обучающие корпуса, что поддерживает последующий текстовый майнинг и библиометрические исследования для статей, у которых уже отсутствуют аннотации.

arxiv arXiv cs.CL · 11 ч назад

Измерение сложности исследований в NLP: обращенная U-образная зависимость от академического влияния

В данном исследовании предлагается комплексная система оценки для измерения сложности академических исследований, рассматривающая обработку естественного языка (NLP) в качестве примера. Авторы извлекают внутренние и внешние признаки из статей, включая сотрудничество, содержание и ссылки, для вычисления нескольких индикаторов сложности. Эти индикаторы взвешиваются с использованием метода энтропийных весов и суммируются для получения итогового показателя сложности исследования. Академическое влияние количественно оценивается по частоте цитирования, а экспертные оценки подтверждают надежность предложенного подхода измерения. Эмпирические результаты показывают, что количество страниц, количество ссылок и участие институтов высокого уровня значительно коррелируют с академическим влиянием. Ключевой вывод анализа заключается в том, что между сложностью исследования и его влиянием существует обращенная U-образная зависимость. Это указывает на то, что исследования умеренной сложности, как правило, достигают наивысшего уровня академического влияния.

arxiv arXiv cs.CL · 11 ч назад

Эволюция методов исследований в библиотечном деле и информатике на основе данных (1990–2022)

В данном исследовании анализируется влияние ориентированных на данные исследований в области библиотечного дела и информатики путем изучения методологической эволюции за период с 1990 по 2022 год. Исследователи автоматически извлекли четыре ключевые категории сущностей, основанных на данных, из научных статей: алгоритмы и модели, источники данных, программное обеспечение и инструменты, а также метрики. Анализ оценивает тенденции по трем измерениям, включая временные характеристики, тематическую эволюцию и межметодные особенности. Результаты выявили источники данных как основной драйвер методологических изменений в данной дисциплине. Исследование показывает циклический паттерн, характеризующийся появлением, за которым следуют стабильность или практическое применение в методах библиотечного дела и информатики. Эта перспектива подчеркивает то, как развитие больших данных изменило технический ландшафт области на протяжении трех десятилетий.

arxiv arXiv cs.CL · 11 ч назад

iLLaDA: 8-миллиардная языковая модель с маскированной диффузией и полностью двунаправленным вниманием

Авторы представляют iLLaDA, 8-миллиардную языковую модель с маскированной диффузией, обученную с нуля с использованием полностью двунаправленного внимания. Этот подход контрастирует с преобладающим авторегрессионным факторизацией и каузальным вниманием, используемыми в современных больших языковых моделях. Предобучение модели масштабировалось до 12 триллионов токенов, за которыми последовало контролируемое тонкое настраивание (supervised fine-tuning) на корпусе инструкций объемом 25 миллиардов токенов в течение 12 эпох. iLLaDA сохраняет цель маскированной диффузии на обоих этапах обучения и использует генерацию переменной длины для повышения эффективности. Она также внедряет оценку на основе уверенности для улучшения результатов на задачах многократного выбора. Результаты бенчмарков показывают значительные улучшения по сравнению с ее предшественником, LLaDA, включая прирост на 21,6 балла на BBH и на 14,9 балла на ARC-Challenge для базовой модели. Вариант с инструкционным тонким настраиванием достиг увеличения на 14,5 балла на MATH и на 16,5 балла на HumanEval. Несмотря на неавторегрессионную природу, iLLaDA остается конкурентоспособной с Qwen2.5 7B по нескольким метрикам.

arxiv arXiv cs.CL · 12 ч назад

Локальная маршрутизация ветвей: эффективное обучаемое масштабирование на этапе тестирования для языковых моделей

Авторы представляют локальную маршрутизацию ветвей (LBR), фреймворк на уровне токенов, предназначенный для улучшения рассуждений языковых моделей за счет эффективного масштабирования на этапе тестирования. LBR расширяет небольшое локальное дерево предварительного просмотра и направляет все сэмплированные ветви через модель, используя легкий маршрутизатор для выбора поддерева глубины 1 для фиксации. Этот подход позволяет каждому решению по токену использовать доказательства из кандидатов локального будущего без вычислительных затрат полного поиска на уровне решения. Метод использует процесс декодирования prune-shift-grow (отсечение-сдвиг-рост), который сохраняет дискретные идентичности ветвей и определяет вычисляемую вероятность траектории дерева. Таким образом, LBR позволяет сквозное обучение с подкреплением с верифицируемыми наградами, совместно оптимизируя базовую модель и маршрутизатор по тому же принципу отношения правдоподобия, что и дискретное RLVR для токенов. Экспериментальные результаты на синтетических задачах иерархического планирования демонстрируют, что скрытые состояния после кандидатов предоставляют полезные доказательства для маршрутизации. Кроме того, бенчмарки в области математических рассуждений показывают, что LBR улучшает метрики Pass@1 и Pass@32 по сравнению с дискретным цепочечным мышлением (chain-of-thought) и другими базовыми методами.