llama.cpp 프로젝트는 서버 구성 요소에서 드래프트 모델 적합 및 로드 간의 심각한 불일치를 해결하는 버전 b9910을 출시했습니다. 이 업데이트에는 드래프트 모델 로드 중 진행률 콜백 스로틀링 문제의 수정과 추론 초기화의 리팩토링이 포함됩니다.

  • 드래프트/멀티토큰 예측 매개변수 초기화, 모델 및 컨텍스트 로드를 통합합니다.
  • 추론 초기화 로직을 speculative.cpp로 이동합니다.
  • server_context_impl의 model_dft 및 ctx_dft가 raw 포인터를 사용하도록 변경합니다.
  • 이번 릴리스에서 macOS Apple Silicon KleidiAI 지원을 비활성화합니다.
  • macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), openEuler용 바이너리를 제공합니다.

이 릴리스는 기본 초기화 및 로드 메커니즘을 수정하여 추론 디코딩 사용 시 안정적인 서버 작동을 보장합니다.