llama.cpp b9885, AIX에서 타일화된 행렬 곱셈 활성화로 PP_Speed 2배 향상

llama.cpp 프로젝트가 버전 b9885를 출시했으며, 여기에는 타일화된 행렬 곱셈을 활성화하여 AIX 플랫폼에 대한 중요한 수정이 포함되어 있습니다. 이 변경으로 matmul_tiled 경로에서 큰 버퍼로 인한 세그멘테이션 오류를 방지하기 위해 로컬 스택 버퍼의 크기가 줄어듭니다.

• AIX에서 FP32, Q4_0, Q8_0 모델에 대해 PP_Speed가 약 2배 향상된 것이 관찰되었습니다.
• 이 릴리스는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu x64, arm64, s390x), Windows(CPU, CUDA, Vulkan, ROCm 등), Android, openEuler용 바이너리를 제공합니다.
• macOS Apple Silicon에 대한 KleidiAI 지원은 이번 빌드에서 비활성화되었습니다.

이 업데이트는 AIX 시스템의 안정성을 보장하면서 지원되는 양자화 형식에 대해 상당한 추론 속도 향상을 제공합니다.