O autor argumenta que a atualização de uma única GPU para duas oferece maiores benefícios por meio do processamento paralelo, em vez de permitir o uso de quantizações de modelos maiores e de maior qualidade. Para tarefas de codificação, a diferença de qualidade entre as quantizações Q4 e Q6/Q8 é mínima, tornando a janela de contexto aumentada e a taxa de transferência mais valiosas.
- A configuração usa um modelo Qwen 27B como orquestrador com contexto extenso para gerenciar subtarefas divididas.
- Subagentes, como o Qwen 35B-A3B, lidam com tarefas estreitas dentro de seus limites de contexto de 115k e relatam os resultados antes de terminar.
- Essa arquitetura permite que três agentes sejam executados em paralelo, aumentando significativamente a taxa de transferência geral em comparação com um único modelo.
- O sistema evita o descarregamento frequente do modelo e a compactação, mantendo os subagentes ativos para tarefas específicas e bem definidas.
Essa abordagem oferece mais valor prático do que tentar executar modelos grandes de 100B+ em hardware inadequado, reservando modelos fechados SOTA apenas para revisões ocasionais de especialistas.