한 레딧 사용자가 로컬 대규모 언어 모델을 실행하기 위한 컨텍스트 공간과 계산 효율성 최적화에 대한 권장 사항을 요청하고 있습니다. 게시자는 24GB VRAM이 탑재된 NVIDIA RTX 3090에서 Qwen 3.6-27B 모델을 Q4로 양자화하여 사용하고 있습니다.

  • 사용자는 총 컨텍스트 창이 약 34,000 토큰이라고 보고합니다.
  • HDBSCAN과 일기 루틴을 활용하는 사용자 정의 메모리 시스템은 시작 시 약 24,000 토큰을 소비합니다.
  • 시스템 RAM을 사용하여 컨텍스트 창을 확장하려고 하면 성능이 현저히 느려집니다.
  • 사용자의 주요 목표는 로컬 코딩 지원이지만, 제한된 하드웨어 리소스로 인해 제약이 있습니다.