llama.cpp 프로젝트는 서버의 수면 처리 메커니즘에 대한 상당한 리팩토링을 포함하는 버전 b10519를 출시했습니다. 이 변경으로 서버가 수면 상태일 때에도 /metrics 엔드포인트에 접근할 수 있습니다.

  • on_sleeping_state 로직 리팩토링 및 메트릭 및 슬롯 작업/결과 분리.
  • 캐시된 응답 추가 및 메트릭 작업 타이머의 경합 조건 수정.
  • get_res_model_info 수정 및 문서 업데이트.
  • macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, ROCm), Android, openEuler용 바이너리 제공.