В статье предлагается Symphony, гибридная программируемая и специализированная архитектура, предназначенная для устранения неэффективностей системы памяти в современных высокопроизводительных архитектурах, таких как GPU. Она сосредоточена на оркестровке данных через иерархию памяти для сокращения ненужного перемещения данных и расстояния.
Исследователи решают проблему временных разрывов при переосвещении длинных видеороликов, переформулируя задачу как перевод латентной области с временным условием. Фреймворк обеспечивает непрерывность между фрагментами путем распространения латентов целевой области через границы и использует маскированное самовоздействие в целевой области, чтобы сделать это поведение обучаемым.
Исследователи из Nvidia представили FusionRelight — метод перенастройки освещения портретов, сочетающий физически правдоподобный перенос освещения с сохранением идентичности и компактным выводом в реальном времени. Подход использует Гибридное Слияние Предметных Знаний (HDKF), фреймворк обучения, который дистиллирует априорные знания о физике, отражательной способности и реализме из синтетических данных, данных One-Light-at-a-Time (OLAT) и естественных сцен в модель-студент.
Новая статья исследует использование фундаментальных больших языковых моделей (LLM) для автоматизации гиперпараметрической оптимизации (HPO), процесса, который обычно полагается на ручные подходы в условиях ограниченного бюджета. Авторы разработали методологию, в которой LLM предлагают конфигурации гиперпараметров на основе описаний набора данных и модели, которые затем итеративно уточняются в соответствии с производительностью модели.
Исследователи представляют Source, новый метод атрибуции обучающих данных (TDA), который сочетает вычислительную эффективность функций влияния с точностью подходов на основе развёртывания. Используя формулу, подобную функции влияния, для аппроксимации развёрнутого дифференцирования, Source устраняет ограничения методов неявного дифференцирования, такие как их неспособность учитывать смещение оптимизации или многоэтапные конвейеры.
NVIDIA представила OmniDreams, базовую генеративную модель мира, предназначенную для устранения узких мест при оценке политик автономного вождения в замкнутых циклах симуляций. Обученная на 21 тысяче часов сценариев вождения после промежуточного и финального этапов на основе модели диффузии Cosmos, она авторегрессионно генерирует видео, обусловленные действиями, в реальном времени.
В статье представлена JacNet, архитектура нейронной сети, которая напрямую обучает якобиан входно-выходной функции, а не само отображение. Этот подход позволяет точно контролировать свойства производных, обеспечивая соблюдение структурных априорных знаний, таких как обратимость и k-липшицева непрерывность.
В статье представлена диссертация jlorraine, которая решает проблемы применения двухуровневой или вложенной оптимизации к крупномасштабным настройкам глубокого обучения. В то время как градиентная оптимизация обычно обновляет один набор параметров, во многих приложениях требуется обновление подмножеств параметров по различным целям, вложенным друг в друга.
Исследователи предлагают Masters, фреймворк прогрессивного обучения с подкреплением на основе маскирования для дистилляции крупномасштабных зрительно-языковых моделей в компактные версии, подходящие для развертывания на периферийных устройствах. Метод решает проблему нестабильности, вызванной разрывом в размерах между моделями учителя и студента.
Исследователи выявили сдвиг релевантной визуальной информации (RVIS) во время декодирования как основную причину отказа существующих методов отсечения визуальных токенов в мультимодальных больших языковых моделях (MLLM). Для решения этой проблемы они предлагают метод Decoding-stage Shift-aware Token Pruning (DSTP), не требующий обучения, который согласовывает визуальные токены с меняющимися требованиями рассуждения.
Исследователи представляют GenRecal, универсальную фреймворк дистилляции, который передаёт знания от крупных моделей зрения и языка (VLM) к более мелким и эффективным аналогам. Метод решает проблему гетерогенных архитектур VLM с помощью Перекалибратора для выравнивания и адаптации представлений признаков между различными типами моделей.
Исследователи представляют Зону Проксимальной Оптимизации Политики (ZPPO), метод, который внедряет знания учителя в промпты, а не в градиенты политики, чтобы устранить хрупкость при дистилляции знаний и дрейф в обучении с подкреплением. ZPPO формирует Бинарные Вопросы с Включённым Кандидатом (BCQ) и Негативные Вопросы с Включённым Кандидатом (NCQ) для сложных вопросов, повторно используя их через буфер воспроизведения до тех пор, пока точность студента не улучшится или они не будут исключены.
Исследователи предлагают новую фреймворк дистилляции «мышление-ответ», который улучшает способность компактных зрительно-языковых моделей использовать визуальные доказательства путем маскирования значимых префиксов рассуждения. Этот подход решает проблему «визуального забывания», распространенную в длинных треках «мышление-ответ», где студенты теряют фокус на визуальных подсказках во время расширенного рассуждения.
Исследователи предлагают SpatialClaw, фреймворк без обучения, который использует код в качестве интерфейса действий для улучшения открытого пространственного рассуждения 3D и 4D в моделях «зрение-язык». В отличие от существующих агентов, полагающихся на однократное выполнение или жесткие вызовы инструментов, SpatialClaw поддерживает состоящее ядро Python, предварительно загруженное входными кадрами и примитивами восприятия.
Исследователи предлагают метод Agent Explorative Policy Optimization (AXPO) для устранения «разрыва между мышлением и действием» в моделях зрения-языка, требующих внешних инструментов. Этот разрыв приводит к тому, что стандартные методы RL, такие как GRPO, пытаются использовать инструменты только в ~30% эпизодов, при этом высокие показатели неудач подавляют обучающие сигналы.
Исследователи предлагают ROSA, систему обслуживания базовой модели робототехники, предназначенную для роботизированных фабрик и выходящую за рамки предположений об обслуживании отдельных роботов на периферийных вычислениях. Система использует обслуживание через общий пул GPU, позволяя флотам роботов получать доступ к серверным GPU по сети.
Исследователи NVIDIA представили Spatial-IQ — диагностическую систему, предназначенную для деконструкции пространственного интеллекта мультимодальных больших языковых моделей (MLLMs). В отличие от существующих бенчмарков, которые рассматривают модели как чёрные ящики, этот подход разбивает подсчёт объектов в стопках 3D-структур на девять перцептивных и когнитивных подзадач, согласованных с этапами человеческого развития.
Исследователи представляют Cluster-Guided Vector Quantization (CGVQ), метод, разработанный для улучшения показателей rate-distortion в сжатии изображений на основе гауссовых примитивов. Подход разделяет параметры Гаусса на однородные группы перед квантованием, устраняя неэффективность, вызванную хранением большого количества параметров с плавающей запятой для каждого примитива.
Исследователи анализируют видео игрового процесса соревновательного шутера Delta Force, чтобы извлечь и понять возникающую невербальную коммуникацию, такую как жесты и паттерны перемещения. Эта работа восполняет пробел в предыдущих исследованиях, которые в значительной степени фокусировались на MOBA-играх или вербальной координации в других шутерах.
Исследователи NVIDIA решают проблему сложного планирования конкурентной групповой игры и воссоздания лабораторных условий, внедряя методологию полевых экспериментов. Этот подход интегрирует эксперименты непосредственно в структуру турниров, создавая гибридные турниры-эксперименты.