Pesquisadores apresentam o MemOps, um benchmark que reformula a memória de conversação como uma sequência de operações do ciclo de vida, em vez de depender apenas da precisão da resposta final. O framework representa cada evento de memória com um trace estruturado especificando gatilhos, alvos e transições de estado para desconstruir causas heterogêneas de falha.
- O MemOps incorpora operações como lembrar, esquecer e atualizar em conversas longas orientadas a tarefas usando um pipeline de geração controlável.
- Ele produz traces dourados de operações junto com seis categorias de sondas em nível de operação avaliadas sob configurações de evidência adjacente e contexto longo.
- O benchmark revela que a recuperação em nível de sessão supera a recuperação em nível de turno nos sistemas atuais.
- Modelos de contexto longo permanecem notavelmente fracos na reconstrução de trajetórias ordenadas do estado de memória.
Esta abordagem move a avaliação de memória de longo prazo da pontuação de caixa preta para um diagnóstico interpretável em nível de operação para avaliar melhor a confiabilidade.