ContextForge — это новый SDK, предназначенный для обеспечения практически неограниченного контекста для LLM без перегрузки окна промпта. Он решает распространенную проблему сбоев систем долговременной памяти во время длительных запусков, рассматривая окно контекста как динамический рабочий набор, а не постоянное хранилище.

  • Хранит все данные на диске с использованием SQLite, устраняя необходимость в векторных базах данных.
  • Создает легкий индекс для восстановления минимального рабочего набора на каждом шаге.
  • Демонстрирует стабильность и согласованность в запусках продолжительностью более 180 дней и 500 дней.
  • Превосходит такие системы, как MemPalace, в долгосрочных оценках с использованием моделей класса GPT.
  • Совместим с vLLM и любой системой, позволяющей контролировать ввод и вывод контекста.

Автор утверждает, что простого хранения и извлечения данных недостаточно для долговечности, что делает этот подход более стабильным и быстрым для приложений, требующих более нескольких шагов.