Um desenvolvedor compartilha suas primeiras impressões ao usar uma versão quantizada em 3 bits do modelo Mistral Medium 3.5 para tarefas de codificação. O usuário relata que o modelo identificou problemas em seu projeto que seu driver diário anterior havia perdido, descrevendo seu desempenho como "realmente bom", apesar de ser mais lento que os modelos Mixture-of-Experts (MoE).
- Quantização: Unsloth Q3_KS com cache KV quantizado para q8_0 e valores para q5_0.
- Desempenho: Alcançou 8 tokens por segundo com uma janela de contexto de 80k.
- Capacidade: Encontrou com sucesso erros no código que o modelo anterior do usuário havia ignorado.
A postagem serve como uma consulta da comunidade, pedindo a outros desenvolvedores suas experiências e pensamentos sobre o uso desta configuração específica de modelo denso para desenvolvimento de software.