Скрытая личная память (LPM) представляет пользовательские воспоминания в виде компактной, постоянной матрицы из N скрытых слотов. Эти слоты отображаются через общий сетевой слой перекрестного внимания в динамические, входные-условные мягкие промпты, которые добавляются в начало замороженного LLM. LPM превосходит LoRA и Prompt Tuning на 8,8% и 54,4% на PersonaMem v1, снижает использование кэша ключей-значений более чем в 64 раз, достигает такой же точности, как LoRA на LoCoMo, при 120 раз меньше параметров, и эффективно масштабируется при увеличении длины контекста, превосходя полный контекст при 128K токенах.
Скрытая личная память: динамические мягкие промпты для персонализации LLM
Переведено с English → Русский