llama.cpp 프로젝트는 버전 b9908을 출시하여 서버의 프롬프트 캐시 RAM 사용량에 하드 리밋을 도입했습니다. 이전에는 저장 작업 중 엔트리를 유지함으로써 캐시가 지정된 제한을 일시적으로 초과할 수 있었습니다.

  • --cache-ram 플래그는 RAM 제한을 초과하는 경우 상태 저장을 엄격히 방지합니다.
  • 새로운 엔트리를 위한 공간을 확보하기 위해 필요에 따라 오래된 캐시 엔트리가 제거됩니다.
  • 토큰 제한 정리 기능은 이제 이전에는 유지되던 마지막 캐시 엔트리도 제거할 수 있습니다.
  • 이 릴리스에서는 macOS Apple Silicon KleidiAI 지원이 비활성화되었습니다.

이 변경으로 인해 프롬프트 캐시가 메모리 제약 조건을 더 reliably하게 준수하며, 일시적인 오버플로우를 방지합니다.