Пользователь тестирует Qwen3, Qwen3.6 и Gemma4 на процессоре Intel 285HX

Пользователь проводит бенчмарки Llama.cpp с моделями Qwen3, Qwen3.6 и Gemma4 на мини-ПК MS-02, оснащенном процессором Intel Core Ultra 285HX и 64 ГБ оперативной памяти, отмечая отсутствие выделенного графического процессора.

• Инференс только на CPU показал самые высокие скорости, достигая до 16.5 токенов в секунду для Qwen3-30B-A3B-Instruct.
• Производительность бэкенда SYCL варьировалась от 8 до 12 токенов в секунду для протестированных моделей.
• Бэкенд Vulkan, использующий встроенный GPU, был значительно медленнее, выдавая всего от 0.5 до 4 токенов в секунду.

Пользователь делает вывод, что выполнение только на CPU в настоящее время является самым быстрым вариантом для данной конкретной конфигурации оборудования, и задается вопросом, почему Vulkan показал худшие результаты по сравнению с SYCL.