llama.cpp 프로젝트는 RDNA3.5 아키텍처를 지원하기 위해 Mixture of Experts (MoE) ncols_opt 타일 휴리스틱에 변경 사항을 포함한 버전 b10997을 출시했습니다.

  • ggml/src/ggml-cuda/mmq.cu의 코드가 업데이트되어 조건 확인에 RDNA3.5가 포함되었습니다.
  • AMD Radeon 8060S에서의 성능 테스트는 LFM2.5-8B-A1B-UD-Q4_K_M에 대해 +16.198%, Qwen1.5-MoE-A2.7B-Q2_K에 대해 +6.189%의 속도 향상을 보였습니다.
  • 이 릴리스는 CPU, CUDA, ROCm, Vulkan, OpenVINO 및 SYCL 백엔드를 위한 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.