연구자들은 단일 시딩 경로 내에서 모델 신뢰도를 사용하여 분기점을 식별하고 여러 연속 샘플링 전에 추론을 개선하는 방법인 Fork-think with confidence를 제안합니다. 이 결정-후-사고 패러다임은 기존 방법들이 먼저 경로를 샘플링한 후 가지치기한다는 접근 방식과 대조됩니다.

  • 세 모델과 세 추론 벤치마크에 걸쳐 토큰 소비를 최대 30%, 실행 시간을 최대 57% 감소시킵니다.
  • 재학습, 웜업 또는 오프라인 학습 없이 병렬 사고와 비교 가능한 성능을 발휘하거나 더 우수합니다.
  • 후기 위치에서의 샘플링이 훨씬 더 우수한 생성 결과를 가져온다는 것을 입증했습니다.
  • 조기 종료 및 가중 투표와 같은 기존 메커니즘과 결합하여 최첨단 성능에 도달합니다.

이 접근 방식은 먼저 사고한 후 결정하는 방법의 본질적인 과생성을 피함으로써 효율적인 LLM 추론을 위한 유망한 방향으로서 사전 결정된 분기를 확립했습니다.