匹兹堡大学的人机工程学研究实验室（HERL）正在主导“为残疾人提供独立性的机器人辅助移动与操作平台”（RAMMP）项目，该项目获得了ARPA-H高达4150万美元的资金支持。该倡议旨在通过将先进机器人与Meta的开源AI视觉模型相结合，为轮椅用户创造更安全、更具适应性的辅助移动解决方案。

  • RAMMP利用Meta的DINOv3和Segment Anything Model (SAM) 在边缘设备上实现实时环境感知。
  • 工程师通过减小内存占用并使用较低精度来优化这些模型，以适应电池供电的硬件，确保可靠且实时的运行。
  • 该系统采用经过DINOv2嵌入和SAM自动标注数据微调的RF-DETR，以实现360度自适应物体检测。
  • 这种方法允许用户与周围环境自然互动，通过检测路缘石和门按钮等障碍物来降低认知负荷并提高安全性。

通过在设备端直接运行强大的AI模型，RAMMP团队确保辅助机器人能够在不可预测的日常环境中可靠运行，而无需依赖外部连接，从而提高了用户的独立性。