Una evaluación de las capacidades de agente muestra que el modelo Qwen3.6-27B sin ajustar completó con éxito todas las tareas probadas utilizando 6-9 llamadas a herramientas, mientras que el Nemotron Puzzle-75B ajustado requirió prompts ajustados manualmente y significativamente más turnos para pasar.

  • Qwen3.6-27B (INT8-AutoRound) pasó cada tarea de agente con 134-190s por tarea utilizando un prompt de sistema neutral.
  • Nemotron Puzzle-75B (NVFP4) fue poco fiable sin ajuste manual, requiriendo 13-23 llamadas y 221-384s para pasar.
  • El autor señala que menos turnos son más críticos para el rendimiento del agente que la velocidad de decodificación de tokens en bruto.
  • Se identificaron problemas de caché de prefijo como una causa potencial de fallos iniciales con cargas útiles idénticas.

Los resultados sugieren que para flujos de trabajo de agentes, la eficiencia en el uso de herramientas supera las ventajas del tamaño de modelo más grande o mayor rendimiento.