llama.cpp b9893, OpenCL 플래시 어텐션 디코드 성능 최적화

llama.cpp 프로젝트는 버전 b9893을 출시하며 OpenCL 플래시 어텐션 디코딩에 대한 일반적인 성능 최적화를 도입했습니다. 이 업데이트는 f16, q8_0, q4_0 KV 캐시 형식에 대한 벡터화된 플래시-어텐션 디코드 커널을 추가하고 비플래시-어텐션 KQ 행렬 곱셈 커널을 개선했습니다.

• DK=512 디코드 작업은 대역폭에 제한되어 있으며 깊이가 증가함에 따라 GPU보다 CPU에서 더 빠르기 때문에 CPU로 오프로드됩니다.
• Adreno 컴파일러가 더 큰 차원에서 메모리 부족을 방지하기 위해 멀티쿼리 플래시 어텐션 커널은 최소 프로그램으로 컴파일됩니다.
• 단일 쿼리 워크로드에서 GPU 리소스를 더 잘 활용하기 위해 f16-KV 디코드의 기본 분할 크기가 2048에서 512로 줄어듭니다.
• DK=512 디코드 시나리오에서 block_n이 설정되지 않았을 때 발생하는 범위 밖 읽기에 대한 충돌 수정이 포함되었습니다.

이 릴리스에는 CPU, CUDA, Vulkan, ROCm 및 기타 백엔드용 macOS, Linux, Android, Windows, openEuler 이진 파일이 포함되어 있습니다.