llama.cpp 프로젝트는 `ne00`이 1024 미만일 때 Metal의 `mul_mv_iq3_xxs` 커널에서 유휴 스레드 문제를 수정한 빌드 b10863을 출시했습니다. 이 업데이트는 특정 행렬 차원에 대해 별도의 분할 커널을 도입하여 반쯤 유휴 상태인 simdgroup 문제를 해결합니다.

  • `ne00 < 1024`일 때 `kernel_mul_mv_iq3_xxs_f32`의 반쯤 유휴 상태인 simdgroup를 수정했습니다.
  • `N_R0_IQ3_XXS = 4`를 유지하고, `ne00/32 < 32`이며 32로 나누어떨어질 때 별도의 8행 분할 커널을 디스패치합니다.
  • 별도의 커널 인스턴스화 대신 함수 상수를 사용하여 `iq3_xxs` 행 분할을 선택합니다.

이 릴리스는 CPU, CUDA, ROCm, Vulkan, OpenVINO을 비롯한 다양한 하드웨어 백엔드에서 macOS, iOS, Linux, Android, Windows 및 openEuler용 바이너리를 제공합니다.