Лаборатории инженерных исследований в области человеческой деятельности (HERL) Университета Питтсбурга возглавляют проект Robotic Assistive Mobility and Manipulation Platform Providing Independence for People with Disabilities (RAMMP), который поддерживается финансированием от ARPA-H на сумму до 41,5 миллиона долларов. Инициатива направлена на создание более безопасных и адаптируемых решений для мобильности с использованием вспомогательных средств для пользователей инвалидных колясок путем интеграции передовой робототехники с открытыми моделями компьютерного зрения Meta.
- RAMMP использует DINOv3 и Segment Anything Model (SAM) от Meta для обеспечения восприятия окружающей среды в реальном времени на периферийных устройствах.
- Инженеры оптимизируют эти модели для оборудования с батарейным питанием, уменьшая объем потребляемой памяти и используя пониженную точность вычислений, чтобы обеспечить надежную работу в реальном времени.
- Система использует RF-DETR, дообученный на эмбеддингах DINOv2 и автоматически размеченных данных из SAM, для достижения адаптивного обнаружения объектов на 360 градусов.
- Этот подход позволяет пользователям естественно взаимодействовать с окружающей средой, снижая когнитивную нагрузку и повышая безопасность за счет обнаружения препятствий, таких как бордюры и кнопки дверей.
Запуск мощных моделей ИИ непосредственно на устройстве гарантирует команде RAMMP, что вспомогательные роботы могут надежно работать в непредсказуемых повседневных условиях без зависимости от внешнего подключения, тем самым увеличивая независимость пользователей.