Google 및 여러 일본 대학의 연구자들은 ToolGrad를 소개했으며, 이는 검증된 API 체인을 먼저 구성한 후 일치하는 사용자 쿼리를 작성함으로써 기존 도구 사용 데이터셋 생성 파이프라인을 역전시키는 프레임워크입니다. 이 접근 방식은 에이전트 탐색 중 자주 실패하는 쿼리 우선 방식의 비효율성을 제거하는 것을 목표로 합니다.

  • 시스템은 API 제안자, API 실행기, API 선택기 및 LLM 업데이트기의 네 가지 모듈을 루프에서 사용합니다.
  • ToolBench 데이터베이스에서 ToolGrad는 DFS 기반 방법의 63.8% 대비 99.8%의 통과율을 달성했습니다.
  • 지표 체인 길이를 늘리면서 샘플당 도구 사용 단계를 34.3에서 20.0으로 줄였습니다.
  • 생성된 ToolGrad-500 데이터셋에서 Gemma-3 모델을 파인튜닝하면 모든 파라미터 크기 전반에 걸쳐 성능이 향상되었습니다.
  • 12B 모델은 Berkeley Function Calling Leaderboard에서 83.1점을 기록하여 Gemini 2.5 Flash-Lite를 능가하고 최첨단 독점 모델과 경쟁했습니다.

이 프레임워크는 도구 사용 LLM의 더 효율적이고 신뢰할 수 있는 훈련을 가능하게 하기 위해 오픈소스 코드, 데이터셋 및 모델을 제공합니다.