llama.cpp b9928, Hexagon VTCM 레이아웃 및 MUL_MAT, MUL_MAT_ID, FLASH_ATTN_EXT용 개선된 파이프라인 추가

llama.cpp 프로젝트가 버전 b9928을 출시하며 Hexagon 백엔드를 위한 새로운 VTCM 레이아웃과 개선된 파이프라인을 도입했습니다. 이 변경 사항은 MUL_MAT, MUL_MAT_ID 및 FLASH_ATTN_EXT 연산에 대한 성능 향상을 특히 목표로 합니다.

• 공통 레이아웃 빌더를 사용하도록 커널 매개변수 계산을 리팩터링했습니다.
• hmx 함수를 더 견고하게 만들기 위해 명시적인 컴파일러 배리어를 추가했습니다.
• 행렬 곱셈 및 flash-attn 커널을 위한 더 일반적인 VTCM 레이아웃 빌더를 구현했습니다.
• 내부 커널을 풀고 컴파일러 문제를 피하기 위해 인트린직 함수를 인라인 어셈블리로 대체했습니다.
• DMA 파이프라인, 프리페칭 및 동기화 폴백 경로를 최적화했습니다.
• 워크풀에 하이브리드 폴링을 추가하고 큐 웨이크업 메커니즘을 개선했습니다.

이번 릴리스는 CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL, HIP을 비롯한 다양한 하드웨어 백엔드를 위해 macOS(Apple Silicon 및 Intel), iOS, Linux(Ubuntu x64, arm64, s390x), Android, Windows 및 openEuler용 바이너리를 제공합니다.