ある開発者が、コーディングタスクに3ビット量子化版のMistral Medium 3.5モデルを使用した初期印象を共有しています。ユーザーは、このモデルが以前の日常使いのモデルが見逃していたプロジェクト内の問題を特定したと報告し、Mixture-of-Experts (MoE) モデルよりも遅いにもかかわらず、「非常に良い」とパフォーマンスを評価しています。
- 量子化: Unsloth Q3_KS、KVキャッシュはq8_0に、値はq5_0に量子化。
- パフォーマンス: 80kのコンテキストウィンドウで秒間8トークンを達成。
- 能力: ユーザーの以前のモデルが見逃していたコード内のエラーを正常に見つけ出した。
この投稿はコミュニティへの問いかけであり、他の開発者に、ソフトウェア開発においてこの特定の密集モデル構成を使用する経験や考えを求めています。