llama.cpp 프로젝트는 로그 상세 수준이 LOG_LEVEL_TRACE로 설정되지 않은 경우 device_info 루프를 건너뛰도록 하는 수정 사항을 포함하는 버전 b10594를 출시했습니다. 이전에는 이 루프가 발견된 장치를 반복하여 메모리 수를 쿼리해야 했으며, 이로 인해 GPU 컨텍스트 생성이 필요했고 데이터가 폐기되더라도 550 MB의 VRAM이 할당되었습니다.

  • 변경 사항으로 인해 반복 전에 상세 수준을 확인하여 불필요한 GPU 리소스 사용을 방지합니다.
  • macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, iOS용 바이너리가 제공됩니다.
  • 릴리스에는 검증용 UI 바이너리와 증명이 포함되어 있습니다.

이 업데이트는 GPU 리소스를 사용하고 싶지 않은 사용자가 장치 정보가 필요하지 않을 때 컨텍스트 생성 및 VRAM 할당의 오버헤드를 피하는 데 도움이 됩니다.