Um usuário relata ter executado com sucesso o modelo Qwen3.6 de 27B quantizado em ternário em duas GPUs NVIDIA RTX 3090. A configuração alcança uma taxa de transferência de 60 tokens por segundo com capacidades estáveis de chamada de ferramentas.

  • Cada GPU tem alocadas 100k slots de cache KV.
  • O consumo total de VRAM é de aproximadamente 21GB em ambos os cartões.
  • O usuário observa que a qualidade da saída parece boa, embora nenhum teste de codificação tenha sido realizado.