llama.cpp 프로젝트가 버전 b10032를 출시하여 GGML_OP_LIGHTNING_INDEXER 연산에 대한 새로운 CUDA 구현을 도입했습니다. 이 업데이트에는 NVIDIA 하드웨어에서 인덱싱 작업을 처리하기 위한 일반 벡터 및 WMMA 커널이 포함되어 있습니다.
- CUDA 라이트닝 인덱서는 일반 벡터 및 WMMA 커널을 사용합니다.
- 상수 중복을 줄이기 위해 템플릿 매개변수 WARPS_PER_BLOCK 및 K_VECS_PER_BLOCK가 추가되었습니다.
- Turing GPU를 지원하기 위해 MMA 아키텍처 요구 사항이 완화되었습니다.
- Q 및 K 텐서에 대한 정렬 확인이 구현에 추가되었습니다.
- 함수 ggml_cuda_op_lightning_indexer가 ggml_cuda_lightning_indexer로 이름이 변경되었습니다.
이번 릴리스는 CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL 및 기타 백엔드를 위한 macOS, Linux, Windows, Android, openEuler용 바이너리를 제공합니다.