Une évaluation des capacités agentic montre que le modèle Qwen3.6-27B non ajusté a réussi à compléter toutes les tâches testées en utilisant 6 à 9 appels d'outils, tandis que le Nemotron Puzzle-75B ajusté nécessitait des prompts manuellement ajustés et significativement plus de tours pour réussir.
- Le Qwen3.6-27B (INT8-AutoRound) a réussi chaque tâche agentic avec 134 à 190 secondes par tâche en utilisant un prompt système neutre.
- Le Nemotron Puzzle-75B (NVFP4) était peu fiable sans réglage manuel, nécessitant 13 à 23 appels et 221 à 384 secondes pour réussir.
- L'auteur note que moins de tours sont plus critiques pour la performance de l'agent que la vitesse brute de décodage des tokens.
- Des problèmes de mise en cache des préfixes ont été identifiés comme une cause potentielle des échecs initiaux avec des charges utiles identiques.
Les résultats suggèrent que pour les workflows agentic, l'efficacité dans l'utilisation des outils l'emporte sur les avantages d'une taille de modèle plus grande ou d'un débit plus élevé.