Исследователи предлагают метод Fork-think with confidence, который улучшает рассуждения больших языковых моделей за счёт выявления точек ветвления с использованием уверенности модели в рамках одного начального пути перед выборкой нескольких продолжений. Эта парадигма «сначала решение, затем размышление» контрастирует с существующими методами, которые сначала выбирают пути, а затем их отбрасывают.

  • Снижает потребление токенов до 30% и время выполнения до 57% на трёх моделях и трёх бенчмарках рассуждений.
  • Показывает результаты, сопоставимые с параллельным мышлением или лучшие, без необходимости переобучения, разминки или офлайн-обучения.
  • Демонстрирует, что выборка на более поздних позициях приводит к существенно лучшим результатам генерации.
  • Совмещается с существующими механизмами, такими как ранняя остановка и взвешенное голосование, для достижения производительности уровня state-of-the-art.

Подход устанавливает заранее определённое ветвление как перспективное направление для эффективных рассуждений LLM, избегая избыточной генерации, присущей методам «сначала размышление, затем решение».