퀄컴, 윈도우 노트북에서 LLM 실행을 위한 GenieX 출시

퀄컴은 퀄컴 칩이 탑재된 윈도우 노트북에서 대규모 언어 모델을 실행할 수 있도록 설계된 새로운 SDK인 GenieX를 출시했습니다. 이 도구는 CPU, GPU 또는 NPU 백엔드를 통해 모델을 실행하는 것을 지원합니다.

• 사용자는 GPU에서 Gemma 4 26B A4B로 초당 20토큰, Qwen 3.6 27B MTP로 초당 10토큰의 성능을 달성했다고 보고했습니다.
• 이 SDK는 CPU, GPU 및 NPU 하드웨어에서 모든 Q4_0 GGUF 모델을 지원하여 llama.cpp와의 호환성을 허용합니다.

이번 릴리스는 퀄컴이 로컬 AI 추론을 위한 강력한 소프트웨어 개발 키트를 제공하는 다른 주요 칩 제조업체에 뒤처지지 않도록 돕는 것을 목표로 합니다.