一位开发者分享了使用 Mistral Medium 3.5 模型的 3-bit 量化版本进行编码任务的初步印象。用户报告称,该模型在其项目中发现了其之前日常使用的模型所遗漏的问题,尽管其速度比 Mixture-of-Experts (MoE) 模型慢,但仍将其性能描述为“非常好”。
- 量化:Unsloth Q3_KS,KV 缓存量化为 q8_0,值量化为 q5_0。
- 性能:在 80k 上下文窗口下实现了每秒 8 个 token。
- 能力:成功找到了用户之前模型遗漏的代码错误。
该帖子作为社区询问,征求其他开发者对使用这种特定 dense 模型配置进行软件开发的使用经验和看法。