로컬 AI 하네스 OpenFox의 개발자는 "speculative cache warming"이라는 기능을 구현하여 사용자가 입력을 작성하는 동안 시스템 프롬프트와 도구 배열을 처리합니다. 이 최적화를 통해 모델은 실제 프롬프트가 제출되기 전에 정적 컨텍스트 데이터 처리를 시작할 수 있어 새 세션 시작 시 발생하는 지연 시간을 효과적으로 줄입니다.
- 시스템 프롬프트(AGENTS.md 및 설정 포함)와 도구 배열은 입력하는 동안 백그라운드에서 처리됩니다.
- 사용자가 프롬프트를 보내면 LLM이 처리해야 하는 것은 남은 프롬프트 텍스트만 됩니다.
- 초당 500 토큰의 처리 속도에서 이 방법은 약 10~20초의 대기 시간을 절약합니다.
이 변경으로 로컬 LLM과의 상호작용이 더 반응성이 높아지고 새 세션 초기화에 일반적으로 수반되는 유휴 시간이 줄어듭니다.