llama.cpp b9933 릴리스는 ne01 차원이 128의 배수가 아닐 때 Q6_K 양자화된 가중치에 대해 왜곡된 출력을 유발한 중대한 OpenCL 문제를 해결합니다. 이 버그는 granite-3.1-3b-a800m-instruct와 같은 모델에 영향을 미쳤으며, 홀수 어휘 크기가 Adreno GPU에서 잘못된 메모리 처리를 트리거했습니다.
수정은 ne01 % 128 != 0일 때 noshuffle 경로에서 밀집 행렬 곱셈을 우회하고 디코딩에는 평평한 GEMV를 사용하며 다른 모양에는 CPU로 폴백합니다. 또한 릴리스는 OpenCL 버퍼에 대해 get_alloc_size를 구현하여 정렬 여유 공간을 예약함으로써 인접한 텐서를 조용히 손상시키는 서브버퍼 오버랩을 방지합니다.
이 업데이트는 특정 정렬 제약이 있는 장치에서 올바른 추론 결과를 보장하고 양자화된 가중치 처리에서의 메모리 손상을 방지합니다.