한 사용자가 UD-Q2_K_XL로 양자화된 Qwen3.5 122B A10B가 시스템 RAM 64GB에 들어갈 수 있음을 보여줌으로써, 해당 제약 조건에 대한 이전 최상위 옵션을 대체했습니다.

  • 이 모델은 UD-Q4_K_XL의 Qwen3 Next 80B와 비교하여 더 높은 품질의 응답과 향상된 내부 지식을 달성합니다.
  • DDR4 CPU에서 생성 속도는 약 2.9 tok/s로 떨어지지만, DDR5-5600을 사용하면 6 tok/s까지 높일 수 있습니다.
  • 아키텍처는 MTP를 통해 10B의 활성 매개변수를 사용하는 반면, Qwen3 Next 80B는 약 3.5B의 활성 매개변수만 사용합니다.
  • 모델의 REAP 변형은 열등하며 느린 프롬프트 처리 속도를 해결하지 못했습니다.

이 구성을 사용하면 메모리가 제한된 사용자도 더 큰 모델의 기능에 접근할 수 있지만, 빠른 정보 검색이 필요한 에이전트 워크로드에는 부적합합니다.