Оценка агентных возможностей показывает, что нетuned модель Qwen3.6-27B успешно выполнила все протестированные задачи, используя 6-9 вызовов инструментов, тогда как tuned Nemotron Puzzle-75B потребовала ручного подбора промптов и значительно большего количества шагов для прохождения.

  • Qwen3.6-27B (INT8-AutoRound) прошла все агентные задачи за 134-190 секунд на задачу, используя нейтральный системный промпт.
  • Nemotron Puzzle-75B (NVFP4) была ненадежной без ручной настройки, требуя 13-23 вызовов и 221-384 секунды для прохождения.
  • Автор отмечает, что меньшее количество шагов более критично для производительности агента, чем сырая скорость декодирования токенов.
  • Проблемы с кэшированием префикса были выявлены как потенциальная причина первоначальных сбоев при идентичных полезной нагрузке.

Результаты указывают на то, что для агентных рабочих процессов эффективность использования инструментов перевешивает преимущества большего размера модели или более высокой пропускной способности.