Исследователи представляют LightMem-Ego, систему, предназначенную для помощи персональным ИИ-ассистентам на мобильных и носимых устройствах в управлении долгосрочным пользовательским опытом через визуальные и аудиопотоки. Архитектура непрерывно захватывает эгоцентрические данные, синхронизирует их по общей временной шкале и организует их в уровни текущей, краткосрочной и долгосрочной памяти.
- Динамически маршрутизирует запросы к соответствующему уровню памяти на основе пользовательских запросов.
- Генерирует ответы, основанные на мультимодальных доказательствах из иерархической структуры памяти.
- Поддерживает такие приложения, как поиск объектов, воспоминания о разговорах, суммаризация жизни, обнаружение рутины и персонализированная помощь.
- Продемонстрировано развертывание на смартфонах и ИИ-очках.
Система решает задачу ответов на запросы о прошлых опытах, предоставляя легковесный механизм для непрерывного накопления и извлечения долгосрочных воспоминаний.