llama.cpp 프로젝트는 PowerVR GPU에서 치명적인 안정성 문제를 해결한 버전 b10891을 출시했습니다. 이 업데이트는 Vulkan 백엔드를 수정하여 dequantized matrix-vector multiplication(dmmv) 연산에 공유 메모리 감소를 폴백하도록 합니다.

  • 이 변경은 서브그룹 전용 감소가 포함된 컴퓨트 파이프라인 빌드 시 VK_ERROR_UNKNOWN을 반환하는 Imagination의 독점 Vulkan 컴파일러로 인해 발생한 충돌을 해결합니다.
  • 이 수정은 Pixel 11 Pro와 같은 장치에서 이전에 실패했던 k-quants, i-quants, TQ2_0, MXFP4, NVFP4 양자화 형식에 적용됩니다.
  • 공유 메모리 감소 변형은 성공적으로 컴파일되며 q2_K부터 q6_K까지의 양자화에 대해 CPU 참조 결과와 일치합니다.
  • 하이브리드 변형도 제공되지만 상당한 성능 페널티를 발생시켜 토큰 처리량을 표준 속도의 27%로 줄입니다.

이 업데이트는 이러한 특정 양자화 형식을 사용하는 모델이 초기 토큰 생성 단계 동안 충돌 없이 PowerVR 하드웨어에서 실행될 수 있도록 보장합니다.