Um pesquisador está buscando um aval do arXiv cs.CL para um artigo que apresenta a Simple Retrieval-Reconstruction Memory (SRRM), um benchmark leve projetado para avaliar a memória de contexto longo em Small Language Models.
Ao contrário dos benchmarks existentes orientados à recuperação, o SRRM avalia conjuntamente a recuperação direcionada, a reconstrução global de informações e uma nova métrica chamada Memory Preservation Ratio (MPR). Os autores testaram a família de modelos Qwen2.5 (0.5B, 1.5B e 3B) sob cargas de contexto de 10–100 declarações factuais.
Os resultados mostraram que o modelo Qwen2.5-1.5B superou consistentemente o modelo maior 3B em precisão de recuperação, desempenho de reconstrução e MPR, sugerindo que a contagem de parâmetros por si só não necessariamente melhora a preservação da memória de contexto longo.