Релиз llama.cpp b10016 внедряет поддержку SYCL для Flash Attention с использованием движка XMX через графовый API oneDNN. Это обновление в первую очередь ориентировано на оборудование Intel Battlemage (Xe2), сужая область применения функции до этой архитектуры, в то время как другие архитектуры откатываются к существующим ядрам.

  • Flash Attention в формате F16 обеспечивает ускорение префиллинга в 1.21 раза для Qwen3.6-27b-Q8_0 при длине последовательности 512 и ускорение в 4.26 раза при 80k.
  • Тесты на Meta-Llama-3.1-8B-Instruct показывают увеличение производительности префиллинга на 32% при разнице перплексии всего в 0.11%.
  • Реализация включает шлюз Battlemage, синхронизацию нескольких устройств для обработки потоков и исправления проблем с синхронизацией нескольких GPU.

Это изменение обеспечивает более быстрый вывод на совместимых видеокартах Intel за счет использования аппаратно-специфичных возможностей ускорения.