Qualcomm запустила GenieX, новый SDK, предназначенный для выполнения больших языковых моделей на ноутбуках Windows с чипами Qualcomm. Инструмент поддерживает запуск моделей через бэкенды CPU, GPU или NPU.
- Пользователи сообщают о достижении 20 токенов в секунду с Gemma 4 26B A4B и 10 токенов в секунду с Qwen 3.6 27B MTP на GPU.
- SDK обеспечивает совместимость с llama.cpp, поддерживая любую модель GGUF формата Q4_0 на оборудовании CPU, GPU и NPU.
Этот релиз призван помочь Qualcomm догнать других крупных производителей чипов в предоставлении надежных комплектов для разработки программного обеспечения для локального вывода ИИ.