튜닝되지 않은 Qwen3.6-27B가 에이전트 작업에서 튜닝된 Nemotron Puzzle-75B를 능가

에이전트 기능 평가 결과, 튜닝되지 않은 Qwen3.6-27B 모델은 6~9회의 도구 호출을 사용하여 테스트된 모든 작업을 성공적으로 완료한 반면, 튜닝된 Nemotron Puzzle-75B는 수동으로 조정된 프롬프트와 훨씬 더 많은 턴 수를 필요로 했습니다.

• Qwen3.6-27B (INT8-AutoRound)는 중립적인 시스템 프롬프트를 사용하여 작업당 134~190초 만에 모든 에이전트 작업을 통과했습니다.
• Nemotron Puzzle-75B (NVFP4)는 수동 튜닝 없이 신뢰할 수 없었으며, 통과하는 데 13~23회의 호출과 221~384초가 필요했습니다.
• 저자는 에이전트 성능에 대해 원시 토큰 디코드 속도보다 턴 수가 적음이 더 중요하다고 지적합니다.
• 동일한 페이로드에 대한 초기 실패의 잠재적 원인으로 접두어 캐싱 문제가 확인되었습니다.

이 결과는 에이전트 워크플로우에서 도구 사용 효율성이 더 큰 모델 크기나 높은 처리량보다 우월함을 시사합니다.