llama.cpp의 최근 업데이트는 SYCL/Intel 하드웨어를 위한 여러 개선을 도입했으며, 여기에는 성능 향상과 새로운 기능 지원이 포함됩니다.

  • oneDNN 그래프 API를 통한 XMX 엔진을 사용한 Flash Attention이 Xe2 아키텍처에서 사용 가능해졌으며, Qwen3.6-27b-Q8_0 등의 모델에 대한 프리필 속도가 크게 가속화되었습니다.
  • 코드베이스는 이제 XIELU 연산 유형을 지원하고 conv2d_dw 커널에 fp16 지원을 추가했습니다.
  • 수정 사항에는 USM 시스템 할당을 위한 최소 버퍼 크기 증가와 Q2_K, Q4_K, Q5_K 양자화에 대한 get_rows 작업의 오류 수정이 포함됩니다.

이러한 변경 사항은 SYCL 백엔드를 사용하여 Intel GPU에서 llama.cpp를 실행하는 사용자의 호환성과 성능을 향상시킵니다.