エージェント機能の評価により、調整なしのQwen3.6-27Bモデルは6〜9回のツール呼び出しで全てのテストされたタスクを正常に完了したのに対し、調整済みのNemotron Puzzle-75Bは手動で調整されたプロンプトと大幅に多いターン数を必要とした。

  • Qwen3.6-27B (INT8-AutoRound) は中立なシステムプロンプトを使用して、タスクごとに134〜190秒で全てのエージェントタスクをパスした。
  • Nemotron Puzzle-75B (NVFP4) は手動調整なしでは信頼性に欠け、パスするために13〜23回の呼び出しと221〜384秒を要した。
  • 著者は、エージェントのパフォーマンスにおいて生のトークンデコード速度よりもターン数の少なさの方がより重要であると指摘している。
  • 同一ペイロードに対する初期失敗の原因として、プレフィックスキャッシングの問題が特定された。

これらの結果は、エージェントワークフローにおいて、ツール使用の効率性がより大きなモデルサイズや高いスループットの利点を上回ることを示唆している。