Статья оспаривает дихотомию между большими языковыми моделями и мировыми моделями, утверждая, что LLM на самом деле являются вырожденным частным случаем мировых моделей, а не их заменой. Предполагается, что существует непрерывный спектр от предсказания следующего токена до архитектур в латентном пространстве, при этом текущие исследования уже занимают промежуточные позиции.
Исследователи представляют Epi2Diff, фреймворк, который отображает трассы Large Reasoning Model (LRM) в когнитивно обоснованные эпизодические последовательности для предсказания сложности заданий для человека в образовательной оценке. Моделируя сложность через масштаб рассуждений, распределение усилий и переходы состояний, метод предоставляет интерпретируемую альтернативу дорогостоящей человеческой калибровке.
Авторы предлагают HPRO — иерархическую прогрессируемую схему оптимизации вознаграждения, предназначенную для повышения эмоциональной выразительности в моделях преобразования текста в речь на основе LLM при сохранении лингвистической понятности. Этот подход устраняет структурные несоответствия существующих методов, основанных на предпочтениях, путем изоляции содержания и эмоций, а также преодоления разрыва между разреженными вознаграждениями и плотной генерацией.
В данном исследовании изучается, как модели визуального языка разрешают конфликты между визуальными доказательствами и запомненными мировыми знаниями путем объединения активационного патчинга с механистическим анализом в рамках трех семейств моделей. Исследование выявляет разреженный каузальный контур, где визуальное заземление является режимом по умолчанию, а его переопределение с помощью предварительных знаний требует специфических голов внимания.
Чтобы решить проблемы масштабируемости традиционного рецензирования в эпоху науки с ИИ-ассистентами, исследователи предлагают таксономию взаимодействия человека и ИИ и представляют инструмент Paper Assistant Tool (PAT). PAT — это агентная ИИ-система, предназначенная для обработки полных научных рукописей и создания комплексных оценок путем проверки теоретических результатов, валидации экспериментов и выявления потенциальных недостатков.
Пользователь демонстрирует успешный запуск модели Llama 3.1 405B, квантованной до AWQ-INT4, на одном узле, оснащенном восемью GPU A100 по 80 ГБ, что позволяет загружать и переключать до 30 тонко настроенных специалистов менее чем за 200 мс.
Пользователь делится опытом решения проблем с версионированием набора инструментов CUDA на Ubuntu для включения вычислительных возможностей для новых GPU, таких как архитектура Blackwell и RTX 5060 Ti. В посте отмечается, что репозиторий apt по умолчанию предоставляет устаревшие версии CUDA, что требует ручной установки пакета Debian с сайта NVIDIA.
Авторы предлагают метод оценки изменяющихся во времени паттернов транспортных потоков по разреженным агрегированным данным подсчёта транспортных средств путём разделения изучаемой области и решения задачи оптимизации взвешенного метода наименьших квадратов. Этот подход использует матрицу взвешенного вклада для кодирования покрытия датчиками, направляя оптимизатор к конфигурациям потоков, которые непосредственно наблюдаемы.
В статье представлен SQLConductor, фреймворк обучения пошаговой оркестровке для Text-to-SQL, который формулирует подзадачи как специализированные действия и обучает модель политики выбирать следующее действие на основе промежуточных артефактов и обратной связи.
VeriEvol — это итеративная система, предназначенная для масштабирования мультимодального математического рассуждения путем разделения сложности промпта и надежности ответа на этапе конструирования данных. Она использует модуль эволюции с учетом типа для генерации более сложных промптов и верификатор HTV-Agent для обеспечения правильности ответов посредством поиска контрдоказательств из нескольких источников.
В данной статье представлена框架 для моделирования энергопотребления обучения трансформеров на нескольких GPU, направленная на решение растущих вычислительных затрат в контексте устойчивого проектирования систем.
В данной статье представлена SuperCond-GNN, суррогатная модель на основе графовых нейронных сетей, предназначенная для прогнозирования распределения напряжения в высокотемпературных сверхпроводящих магнитах путем отображения эквивалентных схем с сосредоточенными параметрами на графовые представления. Модель достигает среднего MAPE 4.3% на ленточных стопках и обеспечивает быстрое вычисление перераспределения тока в различных конфигурациях цепей.
В данной работе используются нейронные ОДУ, оснащенные тщательно подобранным набором точек равновесия, для выполнения задач классификации. Внедренные аттракторы служат индикаторами целевых классов, а поле скоростей формирует динамический ландшафт, направляя входные данные к их соответствующим пунктам назначения.
Исследователи предлагают метод Self-Aware Scheduling (SAS), который обучает оптимальный порядок раскрытия токенов для маскированных диффузионных языковых моделей с целью улучшения качества генерации. Выводя достижимую верхнюю границу несоответствия последовательного декодирования, подход формулирует выбор порядка как задачу оптимизации политики с использованием Group Relative Policy Optimization.
Пользователь Reddit просит отзывы от тех, кто обновился с модели Minimax M2.7 до версии M3. В посте ищутся мнения сообщества о различиях и производительности между этими двумя версиями.
Автор демонстрирует запуск модели GLM-5.2 NVFP4 на четырех узлах NVIDIA GB10 DGX Spark с контекстным окном 128K, достигая пригодной для использования производительности обслуживания благодаря агрессивной оптимизации системы.
Пользователь демонстрирует тонкую настройку 7B-модели для инструкций на Apple Silicon с использованием MLX для изменения стиля на высокофэнтезийную литературу. Эксперимент показывает, что небольшой, тщательно подобранный набор данных может значительно изменить регистр и лексику модели при минимальных вычислительных ресурсах.
Исследователи представили SVD-Surgeon, метод без дообучения, который применяет фреймворк Optimal Brain Surgeon к сингулярному разложению для сжатия больших языковых моделей. Этот подход вычисляет обновления в замкнутой форме для сохраняемых сингулярных значений, чтобы компенсировать ошибки усечения, и определяет, какие значения следует отбросить, на основе их значимости.
Статья рассматривает проблему контрастного обучения представлений на физиологических сигналах, где индивидуальные базовые уровни субъектов мешают целям на уровне классов, что приводит к потере моделями индивидуальных вариаций, необходимых для обобщения. Авторы предлагают контрастную функцию потерь с учётом пациента для обнаружения пароксизмальной фибрилляции предсердий, которая формирует положительные пары только из сегментов одного и того же пациента, чтобы сохранить базовые уровни синусового ритма при одновременном разделении классов.
В данной работе разрабатывается спектральная теория для нормализованного скорректированного распространения графовых нейронных сетей (GNN), с акцентом на симметричную нормализованную матрицу смежности, из которой удален ее компонент, стационарный по степени, чтобы изолировать направление, связанное с чрезмерным сглаживанием.