Пользователь сообщает о тестировании производительности Llama.cpp со встроенной графикой Intel Arrow Lake, выявив, что SYCL обеспечивает наилучшую производительность среди бэкендов GPU, тогда как Vulkan практически неэффективен.

  • Поддержка Vulkan описывается как нерабочая или крайне медленная, достигая лишь 0.5 tok/s на моделях Qwen3.6 и 4 tok/s на Gemma-4.
  • SYCL обрабатывает модели Qwen3.6 35B со скоростью 8-12 tok/s, со скоростями префиллинга около 20 tok/s, хотя возникают проблемы со стабильностью, такие как зависания.
  • Выполнение только на CPU остается наиболее надежным вариантом, обеспечивая 14 tok/s для генерации и 30-40 tok/s для префиллинга на том же оборудовании.

Результаты указывают на то, что, хотя SYCL может использовать встроенную графику, в настоящее время она предлагает лишь незначительное преимущество перед выводом на CPU и страдает от проблем с надежностью.