高通推出了 GenieX，这是一个新的 SDK，旨在让配备高通芯片的 Windows 笔记本电脑能够执行大型语言模型。该工具支持通过 CPU、GPU 或 NPU 后端运行模型。

  • 用户报告在使用 GPU 时，Gemma 4 26B A4B 达到了每秒 20 个 token，Qwen 3.6 27B MTP 达到了每秒 10 个 token。
  • 该 SDK 通过支持 CPU、GPU 和 NPU 硬件上的任何 Q4_0 GGUF 模型，实现了与 llama.cpp 的兼容。

此次发布旨在帮助高通在提供用于本地 AI 推理的强大软件开发工具包方面，赶上其他主要芯片制造商的步伐。