Uma avaliação das capacidades de agente mostra que o modelo Qwen3.6-27B sem ajuste concluiu com sucesso todas as tarefas testadas usando 6-9 chamadas de ferramenta, enquanto o Nemotron Puzzle-75B ajustado exigiu prompts ajustados manualmente e significativamente mais rodadas para passar.
- O Qwen3.6-27B (INT8-AutoRound) passou em todas as tarefas de agente com 134-190s por tarefa usando um prompt de sistema neutro.
- O Nemotron Puzzle-75B (NVFP4) foi imprevisível sem ajuste manual, exigindo 13-23 chamadas e 221-384s para passar.
- O autor observa que menos rodadas são mais críticas para o desempenho do agente do que a velocidade bruta de decodificação de tokens.
- Problemas de cache de prefixo foram identificados como uma causa potencial para falhas iniciais com cargas úteis idênticas.
Os resultados sugerem que para fluxos de trabalho de agentes, a eficiência no uso de ferramentas supera as vantagens do tamanho maior do modelo ou maior taxa de transferência.