llama.cpp b10034 릴리스는 Adreno A7x 장치의 컴파일러가 repack 커널을 잘못 컴파일하여 Mixture of Experts (MoE) 모델에서 가중치 손실과 잡음 출력을 초래하는 심각한 문제를 해결합니다. 이를 해결하기 위해 이 업데이트는 이러한 특정 MoE 커널 사용에서 Adreno A7x 장치를 제외합니다.

  • 컴파일러 잘못된 컴파일 문제로 인해 Adreno MoE 커널 사용에서 Adreno A7x를 제외합니다.
  • 안정성을 보장하기 위해 A6x 및 미지의 Adreno GPU도 MoE 가중치 repack에서 제외합니다.
  • macOS Apple Silicon 빌드에 대한 KleidiAI 지원을 비활성화합니다.
  • macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), openEuler용 바이너리를 제공합니다.

이 변경은 영향받는 Adreno 하드웨어에서 모델 출력 손상을 방지하여 이러한 GPU를 가진 사용자에게 안정적인 추론을 보장합니다.