Les chercheurs présentent LightMem-Ego, un système conçu pour aider les assistants IA personnels sur les appareils mobiles et portables à gérer les expériences utilisateur à long terme via des flux visuels et audio. L'architecture capture continuellement des données égocentriques, les aligne sur une chronologie partagée et les organise en niveaux de mémoire actuelle, à court terme et à long terme.
- Achemine dynamiquement la récupération vers le niveau de mémoire approprié en fonction des requêtes utilisateur.
- Génère des réponses fondées sur des preuves multimodales issues de la structure hiérarchique de la mémoire.
- Prend en charge des applications telles que la recherche d'objets, le rappel de conversations, la synthèse de la vie, la découverte de routines et l'assistance personnalisée.
- A démontré un déploiement sur des smartphones et des lunettes IA.
Le système répond au défi de répondre aux requêtes concernant les expériences passées en fournissant un mécanisme léger pour accumuler et récupérer continuellement des mémoires à long terme.