llama.cpp b10255 릴리스는 Q4_0–Q8_0 양자화된 포맷과 FP32를 포함하여 비FP16 키-값(KV) 캐시를 지원하도록 oneDNN SDPA 경로를 확장합니다. 이 업데이트는 K/V 텐서를 처리하기 전에 온디바이스에서 디쿼티징하거나 밀집 FP16으로 변환함으로써 융합된 systolic 커널이 네이티브 FP16 경로와 동일하게 실행되도록 합니다.

  • 지원되는 KV 타입에는 Q4_0, Q4_1, Q5_0, Q5_1, Q8_0 및 F32가 포함되며, 변환 커널이 누락되어 BF16과 IQ 타입은 제외됩니다.
  • 비FP16 지원은 프리필프 단계 동안 K >= 1024 및 Q >= 32라는 요구사항에 의해 제어됩니다.
  • 이 릴리스에는 무조건적인 wait_and_throw 동작을 보장하는 스트림 동기화 수정 사항이 포함되어 있으며, K와 V가 항상 별도의 버퍼로 디쿼티징되도록 V_is_K_view 별칭 제거도 포함됩니다.
  • CPU, GPU(CUDA, Vulkan, ROCm, OpenCL), SYCL 및 OpenVINO와 같은 특수 백엔드를 포함한 macOS, Linux, Windows, Android 및 openEuler에 대한 바이너리가 제공됩니다.