피츠버그 대학교의 인간공학 연구소(Human Engineering Research Laboratories, HERL)는 장애인의 독립성을 위한 로봇 보조 이동 및 조작 플랫폼(RAMMP)을 주도하고 있으며, 이 프로젝트는 ARPA-H로부터 최대 41.5백만 달러의 자금 지원을 받고 있습니다. 이 계획은 고급 로봇공학과 Meta의 오픈소스 AI 비전 모델을 통합하여 휠체어 사용자를 위해 더 안전하고 적응력 있는 보조 이동 솔루션을 만드는 것을 목표로 합니다.
- RAMMP는 에지 디바이스에서 실시간 환경 인식을 가능하게 하기 위해 Meta의 DINOv3 및 Segment Anything Model(SAM)을 활용합니다.
- 엔지니어들은 메모리 사용량을 줄이고 낮은 정밀도를 사용하여 배터리 구동 하드웨어를 위해 이러한 모델을 최적화하며, 이는 신뢰할 수 있는 실시간 작동을 보장합니다.
- 이 시스템은 SAM에서 자동 라벨링된 데이터와 함께 DINOv2 임베딩으로 파인튜닝된 RF-DETR을 사용하여 360도 적응형 객체 감지를 달성합니다.
- 이 접근 방식은 사용자가 주변 환경과 자연스럽게 상호작용할 수 있게 하여, 보도 차단물이나 문 버튼 같은 장애물을 감지함으로써 인지 부하를 줄이고 안전성을 향상시킵니다.
RAMMP 팀은 강력한 AI 모델을 디바이스 직접 실행함으로써 외부 연결에 의존하지 않고 예측 불가능한 일상 환경에서 보조 로봇이 신뢰성 있게 작동할 수 있도록 보장하여, 사용자 독립성을 높입니다.