llama.cpp 프로젝트가 Vulkan 백엔드에 대한 주요 업데이트를 포함하는 버전 b10675을 출시했습니다. 이 릴리스는 셰이더 코드 내에서 행 ID 및 전문가 수에 대한 호이스팅 지원을 추가합니다.
- 구현은 coopmat2에서 호이스팅된 행 ID를 사용합니다.
- count_experts에 대한 리뷰 피드백을 처리하기 위해 원시 uint 벡터 대신 vk_op_count_experts_push_constants를 사용합니다.
- fastdiv 트릭이 count_experts의 ne00 div/mod 연산에 적용됩니다.
- 전문가별 오프셋은 지원되는 경우 subgroupExclusiveAdd로 계산되며, 대체 수단으로 시리얼 경로를 유지합니다.
이 업데이트는 CUDA, ROCm 및 OpenCL을 포함한 다양한 하드웨어 백엔드에서 macOS, Linux, Windows 및 Android에 대한 최적화된 Vulkan 빌드를 제공합니다.