한 레딧 사용자가 로컬 대규모 언어 모델 설정을 업그레이드하는 방법에 대한 조언을 구하고 있으며, 추론 속도와 일반 지식 능력 간의 균형을 고민하고 있습니다.

  • 사용자는 현재 Strix Halo 장치에서 Qwen3.6 35B를 주요 어시스턴트 및 코딩 에이전트로 실행 중입니다.
  • 131k 컨텍스트 윈도우로 초당 약 30~40 tok/s의 속도를 달성했다고 보고합니다.
  • 사용자는 현재 모델이 기본적인 일반 지식이 부족하며 어시스턴트보다는 집행자처럼 작동한다고 느낍니다.
  • 이를 해결하기 위해, 허용 가능한 속도를 유지하면서 더 큰 Qwen3.5 122B 모델로 전환하는 것을 고려하고 있습니다.