В этой статье представлены мониторы на основе механизма, предназначенные для обнаружения нестабильности обучения больших языковых моделей до того, как она нанесет значительный ущерб. За счет извлечения внутренних сигналов из функциональных ролей критических модулей эти мониторы выявляют сбои за тысячи шагов раньше, чем традиционные методы, основанные на функции потерь.
Статья оспаривает дихотомию между большими языковыми моделями и мировыми моделями, утверждая, что LLM на самом деле являются вырожденным частным случаем мировых моделей, а не их заменой. Предполагается, что существует непрерывный спектр от предсказания следующего токена до архитектур в латентном пространстве, при этом текущие исследования уже занимают промежуточные позиции.
Исследователи представляют Epi2Diff, фреймворк, который отображает трассы Large Reasoning Model (LRM) в когнитивно обоснованные эпизодические последовательности для предсказания сложности заданий для человека в образовательной оценке. Моделируя сложность через масштаб рассуждений, распределение усилий и переходы состояний, метод предоставляет интерпретируемую альтернативу дорогостоящей человеческой калибровке.
Авторы предлагают HPRO — иерархическую прогрессируемую схему оптимизации вознаграждения, предназначенную для повышения эмоциональной выразительности в моделях преобразования текста в речь на основе LLM при сохранении лингвистической понятности. Этот подход устраняет структурные несоответствия существующих методов, основанных на предпочтениях, путем изоляции содержания и эмоций, а также преодоления разрыва между разреженными вознаграждениями и плотной генерацией.
В данном исследовании изучается, как модели визуального языка разрешают конфликты между визуальными доказательствами и запомненными мировыми знаниями путем объединения активационного патчинга с механистическим анализом в рамках трех семейств моделей. Исследование выявляет разреженный каузальный контур, где визуальное заземление является режимом по умолчанию, а его переопределение с помощью предварительных знаний требует специфических голов внимания.
Чтобы решить проблемы масштабируемости традиционного рецензирования в эпоху науки с ИИ-ассистентами, исследователи предлагают таксономию взаимодействия человека и ИИ и представляют инструмент Paper Assistant Tool (PAT). PAT — это агентная ИИ-система, предназначенная для обработки полных научных рукописей и создания комплексных оценок путем проверки теоретических результатов, валидации экспериментов и выявления потенциальных недостатков.
Пользователь демонстрирует успешный запуск модели Llama 3.1 405B, квантованной до AWQ-INT4, на одном узле, оснащенном восемью GPU A100 по 80 ГБ, что позволяет загружать и переключать до 30 тонко настроенных специалистов менее чем за 200 мс.
Пользователь делится опытом решения проблем с версионированием набора инструментов CUDA на Ubuntu для включения вычислительных возможностей для новых GPU, таких как архитектура Blackwell и RTX 5060 Ti. В посте отмечается, что репозиторий apt по умолчанию предоставляет устаревшие версии CUDA, что требует ручной установки пакета Debian с сайта NVIDIA.
Авторы предлагают метод оценки изменяющихся во времени паттернов транспортных потоков по разреженным агрегированным данным подсчёта транспортных средств путём разделения изучаемой области и решения задачи оптимизации взвешенного метода наименьших квадратов. Этот подход использует матрицу взвешенного вклада для кодирования покрытия датчиками, направляя оптимизатор к конфигурациям потоков, которые непосредственно наблюдаемы.
В статье представлен SQLConductor, фреймворк обучения пошаговой оркестровке для Text-to-SQL, который формулирует подзадачи как специализированные действия и обучает модель политики выбирать следующее действие на основе промежуточных артефактов и обратной связи.
VeriEvol — это итеративная система, предназначенная для масштабирования мультимодального математического рассуждения путем разделения сложности промпта и надежности ответа на этапе конструирования данных. Она использует модуль эволюции с учетом типа для генерации более сложных промптов и верификатор HTV-Agent для обеспечения правильности ответов посредством поиска контрдоказательств из нескольких источников.
В данной статье представлена框架 для моделирования энергопотребления обучения трансформеров на нескольких GPU, направленная на решение растущих вычислительных затрат в контексте устойчивого проектирования систем.
В данной статье представлена SuperCond-GNN, суррогатная модель на основе графовых нейронных сетей, предназначенная для прогнозирования распределения напряжения в высокотемпературных сверхпроводящих магнитах путем отображения эквивалентных схем с сосредоточенными параметрами на графовые представления. Модель достигает среднего MAPE 4.3% на ленточных стопках и обеспечивает быстрое вычисление перераспределения тока в различных конфигурациях цепей.
В данной работе используются нейронные ОДУ, оснащенные тщательно подобранным набором точек равновесия, для выполнения задач классификации. Внедренные аттракторы служат индикаторами целевых классов, а поле скоростей формирует динамический ландшафт, направляя входные данные к их соответствующим пунктам назначения.
Исследователи предлагают метод Self-Aware Scheduling (SAS), который обучает оптимальный порядок раскрытия токенов для маскированных диффузионных языковых моделей с целью улучшения качества генерации. Выводя достижимую верхнюю границу несоответствия последовательного декодирования, подход формулирует выбор порядка как задачу оптимизации политики с использованием Group Relative Policy Optimization.
Пользователь Reddit просит отзывы от тех, кто обновился с модели Minimax M2.7 до версии M3. В посте ищутся мнения сообщества о различиях и производительности между этими двумя версиями.
Автор демонстрирует запуск модели GLM-5.2 NVFP4 на четырех узлах NVIDIA GB10 DGX Spark с контекстным окном 128K, достигая пригодной для использования производительности обслуживания благодаря агрессивной оптимизации системы.
Пользователь демонстрирует тонкую настройку 7B-модели для инструкций на Apple Silicon с использованием MLX для изменения стиля на высокофэнтезийную литературу. Эксперимент показывает, что небольшой, тщательно подобранный набор данных может значительно изменить регистр и лексику модели при минимальных вычислительных ресурсах.
Исследователи представили SVD-Surgeon, метод без дообучения, который применяет фреймворк Optimal Brain Surgeon к сингулярному разложению для сжатия больших языковых моделей. Этот подход вычисляет обновления в замкнутой форме для сохраняемых сингулярных значений, чтобы компенсировать ошибки усечения, и определяет, какие значения следует отбросить, на основе их значимости.
Статья рассматривает проблему контрастного обучения представлений на физиологических сигналах, где индивидуальные базовые уровни субъектов мешают целям на уровне классов, что приводит к потере моделями индивидуальных вариаций, необходимых для обобщения. Авторы предлагают контрастную функцию потерь с учётом пациента для обнаружения пароксизмальной фибрилляции предсердий, которая формирует положительные пары только из сегментов одного и того же пациента, чтобы сохранить базовые уровни синусового ритма при одновременном разделении классов.