한 레딧 사용자는 Antirez DS4 모델과 Unsloth GGUF 형식 간의 비교를 찾고 있습니다. 특히 2비트 양자화에서의 성능에 관하여입니다. 게시자는 로컬 추론 어시스턴트로 사용하면서 이 저정밀도 설정에서 DS4의 능력에 감명받았다고 보고합니다.

  • 사용자는 계획 작업을 위해 DS4 flash와 Qwen 3.6 35b A3B를 함께 사용합니다.
  • 하드웨어 구성에는 128GB RAM과 ROCm 지원을 갖춘 Nimo Strix Halo 박스가 포함됩니다.
  • 문의는 다른 사람들이 유사한 2비트 양자화 수준에서 GGUF 버전을 테스트해 보았는지 여부에 초점을 맞추고 있습니다.