llama.cpp 프로젝트는 Qualcomm Adreno GPU에 대한 특정 OpenCL 업데이트를 포함한 빌드 b10069을 출시했습니다. 주요 변경 사항에는 Adreno MUL_MAT 커널에 대한 브로드캐스트 작업 지원과 llama-server에서 멀티스트림 기능을 활성화하기 위해 Q8_0 MUL_MAT 변형의 뷰 오프셋을 준수하는 것이 포함됩니다.
- Adreno GEMM/GEMV noshuffle 커널에 대한 브로드캐스트 지원을 추가했습니다.
- Adreno noshuffle GEMM/GEMV 작업에 대해 뷰 오프셋이 올바르게 처리되도록 보장했습니다.
- OpenCL 백엔드 내에서 일반적인 GEMM/GEMV 브로드캐스트 지원을 구현했습니다.
- 코드베이스에서 불필요한 테스트와 주석을 제거했습니다.
이 업데이트는 Adreno 하드웨어에서 멀티스트림 워크로드와의 호환성을 수정하여 중요한 커널 처리 문제를 해결함으로써 개선됩니다.