Les Laboratoires de recherche en ingénierie humaine (HERL) de l'université de Pittsburgh dirigent la plateforme Robotic Assistive Mobility and Manipulation Platform Providing Independence for People with Disabilities (RAMMP), un projet soutenu par jusqu'à 41,5 millions de dollars de financement d'ARPA-H. L'initiative vise à créer des solutions de mobilité assistée plus sûres et plus adaptables pour les utilisateurs de fauteuils roulants en intégrant une robotique avancée aux modèles de vision par ordinateur open source de Meta.
- RAMMP utilise DINOv3 et le Segment Anything Model (SAM) de Meta pour permettre la perception environnementale en temps réel sur des appareils edge.
- Les ingénieurs optimisent ces modèles pour le matériel alimenté par batterie en réduisant l'empreinte mémoire et en utilisant une précision inférieure afin d'assurer un fonctionnement fiable en temps réel.
- Le système emploie RF-DETR affiné avec les embeddings de DINOv2 et des données auto-étiquetées de SAM pour atteindre une détection d'objets adaptative à 360 degrés.
- Cette approche permet aux utilisateurs d'interagir naturellement avec leur environnement, réduisant la charge cognitive et améliorant la sécurité en détectant des obstacles tels que les bordures de trottoir et les boutons de porte.
En exécutant directement sur l'appareil des modèles d'IA puissants, l'équipe RAMMP s'assure que les robots d'assistance peuvent fonctionner de manière fiable dans des environnements quotidiens imprévisibles sans dépendre d'une connectivité externe, augmentant ainsi l'autonomie des utilisateurs.