Os Laboratórios de Pesquisa em Engenharia Humana (HERL) da Universidade de Pittsburgh estão liderando a Plataforma Robótica de Mobilidade e Manipulação Assistiva que Fornece Independência para Pessoas com Deficiência (RAMMP), um projeto apoiado por até US$ 41,5 milhões em financiamento do ARPA-H. A iniciativa visa criar soluções de mobilidade assistiva mais seguras e adaptáveis para usuários de cadeiras de rodas, integrando robótica avançada aos modelos de visão por IA de código aberto da Meta.
- O RAMMP utiliza o DINOv3 e o Segment Anything Model (SAM) da Meta para permitir percepção ambiental em tempo real em dispositivos de borda.
- Os engenheiros otimizam esses modelos para hardware alimentado por bateria, reduzindo a pegada de memória e utilizando precisão mais baixa para garantir operação confiável em tempo real.
- O sistema emprega o RF-DETR ajustado finamente com embeddings do DINOv2 e dados rotulados automaticamente do SAM para alcançar detecção adaptativa de objetos em 360 graus.
- Essa abordagem permite que os usuários interajam naturalmente com seu entorno, reduzindo a carga cognitiva e melhorando a segurança ao detectar obstáculos como meio-fios e botões de porta.
Ao executar modelos de IA poderosos diretamente no dispositivo, a equipe do RAMMP garante que os robôs assistivos possam operar de forma confiável em ambientes cotidianos imprevisíveis, sem depender de conectividade externa, aumentando assim a independência do usuário.