한 개발자가 코딩 작업에 3비트 양자화된 Mistral Medium 3.5 모델을 사용한 초기 인상을 공유했습니다. 사용자는 이 모델이 이전 일상용 모델이 놓쳤던 프로젝트의 문제를 식별했다고 보고하며, Mixture-of-Experts (MoE) 모델보다 느리지만 성능을 "정말 좋다"고 평가했습니다.

  • 양자화: Unsloth Q3_KS, KV 캐시는 q8_0으로, 값은 q5_0으로 양자화.
  • 성능: 80k 컨텍스트 윈도우에서 초당 8 토큰 달성.
  • 능력: 사용자의 이전 모델이 간과했던 코드 내 오류를 성공적으로 발견.

이 게시물은 커뮤니티의 문의이며, 다른 개발자들에게 소프트웨어 개발에 이 특정 밀집 모델 구성을 사용한 경험과 의견을 묻고 있습니다.