llama.cpp 프로젝트가 버전 b9948을 출시했으며, 여기에는 CUDA용 ggml 라이브리에 대한 주요 최적화가 포함되어 있습니다. 이번 업데이트는 `ggml_top_k()`와 `ggml_argsort()`를 수정하여 데이터를 더 작은 청크로 처리하도록 하여 임시 버퍼 메모리 사용량을 줄였습니다.

  • CUDA CUB의 top-k 및 argsort 구현에 청크 처리를 구현했습니다.
  • 메모리를 추가로 최적화하기 위해 루프 전에 `tmp_dst`를 한 번만 할당했습니다.
  • 코드 명확성을 위해 삼항 연산자를 min/max 함수로 교체했습니다.
  • CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL, HIP 백엔드용 macOS(Apple Silicon 및 Intel), Linux, Windows, Android, openEuler 이진 파일을 출시했습니다.

이번 릴리스는 다양한 플랫폼에 대한 업데이트된 빌드를 제공하면서 특정 CUDA 연산에서의 메모리 효율성 문제를 해결합니다.