Google представила Gemini Robotics 2, интеллектуальный слой, предназначенный для обеспечения адаптивных роботов интеллектуальным управлением всем телом, продвинутой ловкостью и способностью к командному взаимодействию. Это обновление расширяет возможности физического ИИ за рамки узких, повторяющихся задач, позволяя роботам рассуждать о движениях и быстро адаптироваться к новым корпусам.
Google выпустила Gemini Robotics ER 2 — новую модель воплощённого рассуждения, предназначенную для быстрого мышления роботов и планирования многоступенчатых задач в реальном времени. Обновление приносит значительные улучшения по сравнению с предыдущей версией ER 1.6, включая непрерывное отслеживание прогресса на основе видео, точное определение моментов и нативные возможности многоагентного взаимодействия.
Исследователи предлагают ROSA, систему обслуживания базовой модели робототехники, предназначенную для роботизированных фабрик и выходящую за рамки предположений об обслуживании отдельных роботов на периферийных вычислениях. Система использует обслуживание через общий пул GPU, позволяя флотам роботов получать доступ к серверным GPU по сети.
Лаборатории инженерных исследований в области человеческой деятельности (HERL) Университета Питтсбурга возглавляют проект Robotic Assistive Mobility and Manipulation Platform Providing Independence for People with Disabilities (RAMMP), который поддерживается финансированием от ARPA-H на сумму до 41,5 миллиона долларов. Инициатива направлена на создание более безопасных и адаптируемых решений для мобильности с использованием вспомогательных средств для пользователей инвалидных колясок путем интеграции передовой робототехники с открытыми моделями компьютерного зрения Meta.
Google DeepMind выпустила Gemini Robotics 2, интеллектуальный слой, состоящий из трех моделей, предназначенных для обеспечения управления всем телом, ловкости пяти пальцев и взаимодействия нескольких роботов. В релиз включена модель Vision-Language-Action (VLA), воплощенная модель VLM для рассуждений и локальная VLA, что выходит за рамки предыдущих возможностей манипуляции на столе.
NVIDIA выпустила Cosmos 3 Edge, открытую модель реального мира с 4 миллиардами параметров, предназначенную для обеспечения производительности уровня дата-центра на периферийных системах с ограниченной памятью. Модель позволяет роботам и агентам компьютерного зрения понимать окружающую среду, рассуждать в реальном времени и генерировать действия непосредственно на устройствах, таких как модули NVIDIA Jetson.
Calibra v0.7.1 вводит новый этап проверки целостности датасета (Dataset Integrity), который выполняется перед анализом качества и покрытия, чтобы помочь пользователям убедиться в достоверности их робототехнических датасетов.
Calibra — это инструмент с открытым исходным кодом, предназначенный для аудита наборов данных роботов и выявления проблем с качеством перед обучением. Он предоставляет инструменты для создания ядер, учитывающих качество, и оценки результатов обучения.
Calibra — это инструмент с открытым исходным кодом, предназначенный для помощи исследователям в аудите наборов данных роботов и выявлении проблем с качеством перед обучением политик. Первый публичный релиз включает интерактивное пространство Robot Dataset Health Check для аудита наборов данных LeRobot и бенчмарк из 30 публичных наборов данных LeRobot с оценками здоровья.
NVIDIA представила Cosmos-H-Dreams, генеративный симулятор для хирургической робототехники, работающий в реальном времени и управляемый действиями, который переносит возможности своего Cosmos-H-Surgical-Simulator в причинную модель-студент. Система обслуживается через библиотеку ускоренного потокового вывода FlashDreams от NVIDIA и обеспечивает интерактивное управление человеком или обученной политикой по замкнутому контуру.
Black Forest Labs запустила FLUX 3, семейство мультимодальных flow-моделей, включающее возможности генерации видео с нативным аудио. В релизе также представлена FLUX-mimic, вариант, разработанный для приложений робототехники «видео-действие».
В данной статье представлен обзор текущего состояния симуляции в области Physical AI, объясняющий, как симуляция преодолевает разрыв в данных для робототехники за счёт создания масштабируемых фотореалистичных обучающих сред. Описывается парадигма с использованием трёх компьютеров (обучение, симуляция, на роботе) и классифицируются ключевые движки симуляции на основе их специфических возможностей и областей применения.
NVIDIA выпустила Cosmos 3 Edge, открытую модель с 4 миллиардами параметров, предназначенную для работы на устройстве у роботов и агентов компьютерного зрения. Выпущенная 20 июля на Hugging Face, она позволяет системам понимать окружающую среду, рассуждать в реальном времени и генерировать действия роботов локально без зависимости от облака.
Компания Pollen Robotics выпустила Grabette — открытое портативное устройство, предназначенное для записи реальных данных манипуляции роботами без необходимости использования самого робота или оборудования для телеуправления. Система использует широкоугольную камеру и RGBD-камеру глубины для захвата 6-степенных траекторий, что позволяет пользователям генерировать чистые наборы данных, которые можно обрабатывать через веб-панель управления и публиковать в Hugging Face Hub.
Mistral AI выпустила Robostral Navigate, свою первую модель, предназначенную для воплощённой навигации с использованием только одной RGB-камеры. Модель с 8B параметров принимает инструкции на естественном языке и изображения для управления роботами в сложных условиях, таких как офисы и открытые пространства.
Исследователи представляют RoboTTT, рецепт обучения, который расширяет визуомоторный контекст для фундаментальных моделей роботов до 8000 шагов по времени без увеличения задержки вывода. Метод интегрирует обучение во время тестирования в политики Vision-Language-Action с использованием быстрых весов, обновляемых посредством градиентного спуска как во время обучения, так и при выводе.
NVIDIA представляет RoboTTT, фундаментальную модель для роботов и рецепт обучения, который расширяет визуомоторный контекст до 8000 шагов без увеличения задержки вывода. Интегрируя обучение во время тестирования (Test-Time Training) в политики Vision-Language-Action, система сжимает историю в пространстве весов с использованием быстрых весов, обновляемых методом градиентного спуска.
Xiaomi представила Xiaomi-Robotics-U0, мультимодальную авторегрессионную модель с 38 миллиардами параметров, предназначенную для унифицированного воплощённого синтеза. Модель рассматривает воплощённую генерацию как расширение базовой генерации изображений и видео, совместно оптимизируя генерацию текста в изображение, редактирование изображений, генерацию воплощённых сцен, воплощённый перенос и генерацию воплощённого видео.
В этой статье представлен PAC-ACT, постобучающий фреймворк на основе обучения с подкреплением, предназначенный для улучшения предварительно обученных политик Action Chunking Transformer (ACT) для промышленных задач с точным контактом. Метод переформулирует оптимизацию политики на уровне чанков и использует архитектуру актор-критика, переданную через ACT, с гибридным ограничением по поведенческому приоритету.
NVIDIA решает задачу строгой оценки фундаментальных моделей робототехники, которые теперь могут выполнять инструкции на естественном языке для манипуляции объектами. Компания определяет оценку как критическую нерешенную проблему и представляет новый метод для решения этих задач.