Um estudo analisa como o ajuste fino supervisionado (SFT), o aprendizado por reforço (RL) e a destilação on-policy (OPD) remodelam a confiança do modelo durante o raciocínio em cadeia. Os autores introduzem um framework de calibração em três etapas que avalia a confiança antes, durante e depois do raciocínio para avaliar a estimativa de dificuldade, a parada antecipada e a agregação de respostas.
- OPD fornece a confiança pré-raciocínio mais útil para estimativa de dificuldade.
- SFT oferece o sinal online mais forte para parada antecipada.
- RL produz o sinal em nível de traço mais confiável para agregação de respostas.
- A confiabilidade da confiança depende da posição; RL se torna informativo após uma fase de compromisso de caminho, enquanto OPD pode se tornar inversamente calibrado mais tarde.
Os autores propõem PosConf, uma estratégia consciente da posição que melhora a agregação de respostas do RL em 6.1 pontos em relação à votação majoritária e aumenta os ganhos de parada antecipada do OPD em até 4.3 pontos sob orçamentos rigorosos de tokens.