Исследование ставит под сомнение предположение о том, что большие языковые модели лучше оценивают собственные выходные данные, чем генерируют их, и показывает, что точность генерации превышает точность самооценки на трёх из четырёх протестированных бенчмарков. Исследование использует контролируемую настройку контекстного QA для изоляции производительности оценки от помех параметрических знаний.
В статье представлен MultiHashFormer — фреймворк, обеспечивающий хеш-авторегрессию в причинных языковых моделях за счет представления токенов в виде уникальных сигнатур дискретных хеш-идентификаторов. Этот подход позволяет модели сжимать информацию о токенах в латентные векторы для обработки трансформером, а затем отображать их обратно в текст, эффективно решая проблемы коллизий «многие-к-одному», которые ранее препятствовали использованию хеширования в генеративных контекстах.
В данной работе исследуется применение больших языковых моделей (LLM) для задач слияния данных, включающих табличные данные, охватывая как сценарии с одной истиной, так и с несколькими.
В данной статье разрабатывается количественная теория для Случайной Языковой Модели (RLM) в пределе масштабирования, когда количество скрытых символов стремится к бесконечности, а температура грамматики стремится к нулю при фиксированном соотношении. Исследование показывает, что модель допускает контролируемое описание на основе принципа больших отклонений для паттернов использования правил, сводя задачу к Случайным Энергетическим Моделям с нетривиальной комбинаторикой.
В этой статье представлены мониторы на основе механизма, предназначенные для обнаружения нестабильности обучения больших языковых моделей до того, как она нанесет значительный ущерб. За счет извлечения внутренних сигналов из функциональных ролей критических модулей эти мониторы выявляют сбои за тысячи шагов раньше, чем традиционные методы, основанные на функции потерь.
Статья оспаривает дихотомию между большими языковыми моделями и мировыми моделями, утверждая, что LLM на самом деле являются вырожденным частным случаем мировых моделей, а не их заменой. Предполагается, что существует непрерывный спектр от предсказания следующего токена до архитектур в латентном пространстве, при этом текущие исследования уже занимают промежуточные позиции.
Исследователи представляют Epi2Diff, фреймворк, который отображает трассы Large Reasoning Model (LRM) в когнитивно обоснованные эпизодические последовательности для предсказания сложности заданий для человека в образовательной оценке. Моделируя сложность через масштаб рассуждений, распределение усилий и переходы состояний, метод предоставляет интерпретируемую альтернативу дорогостоящей человеческой калибровке.
Авторы предлагают HPRO — иерархическую прогрессируемую схему оптимизации вознаграждения, предназначенную для повышения эмоциональной выразительности в моделях преобразования текста в речь на основе LLM при сохранении лингвистической понятности. Этот подход устраняет структурные несоответствия существующих методов, основанных на предпочтениях, путем изоляции содержания и эмоций, а также преодоления разрыва между разреженными вознаграждениями и плотной генерацией.
В данном исследовании изучается, как модели визуального языка разрешают конфликты между визуальными доказательствами и запомненными мировыми знаниями путем объединения активационного патчинга с механистическим анализом в рамках трех семейств моделей. Исследование выявляет разреженный каузальный контур, где визуальное заземление является режимом по умолчанию, а его переопределение с помощью предварительных знаний требует специфических голов внимания.
Чтобы решить проблемы масштабируемости традиционного рецензирования в эпоху науки с ИИ-ассистентами, исследователи предлагают таксономию взаимодействия человека и ИИ и представляют инструмент Paper Assistant Tool (PAT). PAT — это агентная ИИ-система, предназначенная для обработки полных научных рукописей и создания комплексных оценок путем проверки теоретических результатов, валидации экспериментов и выявления потенциальных недостатков.
Пользователь демонстрирует успешный запуск модели Llama 3.1 405B, квантованной до AWQ-INT4, на одном узле, оснащенном восемью GPU A100 по 80 ГБ, что позволяет загружать и переключать до 30 тонко настроенных специалистов менее чем за 200 мс.
Пользователь делится опытом решения проблем с версионированием набора инструментов CUDA на Ubuntu для включения вычислительных возможностей для новых GPU, таких как архитектура Blackwell и RTX 5060 Ti. В посте отмечается, что репозиторий apt по умолчанию предоставляет устаревшие версии CUDA, что требует ручной установки пакета Debian с сайта NVIDIA.
Авторы предлагают метод оценки изменяющихся во времени паттернов транспортных потоков по разреженным агрегированным данным подсчёта транспортных средств путём разделения изучаемой области и решения задачи оптимизации взвешенного метода наименьших квадратов. Этот подход использует матрицу взвешенного вклада для кодирования покрытия датчиками, направляя оптимизатор к конфигурациям потоков, которые непосредственно наблюдаемы.
В статье представлен SQLConductor, фреймворк обучения пошаговой оркестровке для Text-to-SQL, который формулирует подзадачи как специализированные действия и обучает модель политики выбирать следующее действие на основе промежуточных артефактов и обратной связи.
VeriEvol — это итеративная система, предназначенная для масштабирования мультимодального математического рассуждения путем разделения сложности промпта и надежности ответа на этапе конструирования данных. Она использует модуль эволюции с учетом типа для генерации более сложных промптов и верификатор HTV-Agent для обеспечения правильности ответов посредством поиска контрдоказательств из нескольких источников.
В данной статье представлена框架 для моделирования энергопотребления обучения трансформеров на нескольких GPU, направленная на решение растущих вычислительных затрат в контексте устойчивого проектирования систем.
В данной статье представлена SuperCond-GNN, суррогатная модель на основе графовых нейронных сетей, предназначенная для прогнозирования распределения напряжения в высокотемпературных сверхпроводящих магнитах путем отображения эквивалентных схем с сосредоточенными параметрами на графовые представления. Модель достигает среднего MAPE 4.3% на ленточных стопках и обеспечивает быстрое вычисление перераспределения тока в различных конфигурациях цепей.
В данной работе используются нейронные ОДУ, оснащенные тщательно подобранным набором точек равновесия, для выполнения задач классификации. Внедренные аттракторы служат индикаторами целевых классов, а поле скоростей формирует динамический ландшафт, направляя входные данные к их соответствующим пунктам назначения.
Исследователи предлагают метод Self-Aware Scheduling (SAS), который обучает оптимальный порядок раскрытия токенов для маскированных диффузионных языковых моделей с целью улучшения качества генерации. Выводя достижимую верхнюю границу несоответствия последовательного декодирования, подход формулирует выбор порядка как задачу оптимизации политики с использованием Group Relative Policy Optimization.
Пользователь Reddit просит отзывы от тех, кто обновился с модели Minimax M2.7 до версии M3. В посте ищутся мнения сообщества о различиях и производительности между этими двумя версиями.