llama.cpp 프로젝트가 /responses API 스트림에 타이밍 및 진행률 정보를 도입한 버전 b9909을 출시했습니다. 이 업데이트는 macOS, Linux, Windows, Android, openEuler를 포함한 여러 플랫폼에서 사용할 수 있습니다.

  • 주요 기능 변경은 /responses API 엔드포인트의 스트리밍 출력에 타이밍 및 진행률 세부 정보를 추가하는 것입니다.
  • Apple Silicon, Intel x64, ARM64, s390x 등 다양한 아키텍처용 사전 빌드 바이너리가 제공됩니다.
  • GPU 지원에는 CUDA 12.4 및 13.3, Vulkan, ROCm 7.2, OpenVINO, SYCL, HIP가 포함됩니다.
  • macOS Apple Silicon에 대한 KleidiAI 지원은 이번 릴리스에서 비활성화되었습니다.

이 업데이트를 통해 사용자는 API 응답의 진행 상황을 더 효과적으로 모니터링할 수 있습니다.