ContextForge es un nuevo SDK diseñado para proporcionar un contexto efectivamente ilimitado para LLMs sin sobrecargar la ventana de prompt. Aborda el problema común de los sistemas de memoria a largo plazo que fallan durante ejecuciones extendidas al tratar la ventana de contexto como un conjunto de trabajo dinámico en lugar de almacenamiento permanente.
- Almacena todos los datos en disco usando SQLite, eliminando la necesidad de bases de datos vectoriales.
- Construye un índice ligero para reconstruir un conjunto de trabajo mínimo en cada paso.
- Demostró estabilidad y consistencia en ejecuciones que superan los 180 días y 500 días.
- Superó a sistemas como MemPalace en evaluaciones a largo plazo utilizando modelos de clase GPT.
- Compatible con vLLM y cualquier sistema que permita control sobre la entrada y salida del contexto.
El autor argumenta que simplemente almacenar y recuperar datos es insuficiente para la longevidad, haciendo que este enfoque sea más estable y rápido para aplicaciones que requieren más de unas pocas interacciones.