O artigo introduz a destilação de confiança futura, um método que treina preditores em representações ocultas pré-solução usando estimativas de confiança do professor derivadas de sondas de correção pós-solução. Esta abordagem permite que o modelo antecipe informações relacionadas à confiança antes que a geração da resposta esteja completa.
- A confiança pós-solução é consistentemente melhor calibrada e mais discriminativa do que as estimativas de sensação de conhecimento pré-solução.
- Sondas lineares treinadas em representações ocultas recuperam informações relacionadas à confiança substancialmente mais ricas do que os modelos verbalizam explicitamente.
- Os preditores destilados requerem apenas representações pré-solução para inferência, permanecem altamente eficientes em amostras e transferem-se entre conjuntos de dados dentro do mesmo domínio.
Os autores consideram isso importante porque permite uma estimativa de confiança significativamente mais confiável, porém de baixo custo, para decisões downstream em sistemas conscientes da confiança.