Sonda nas representações internas do Eternis-Forecaster 8B revela que melhoram a calibração e expõem problemas de fidelidade no raciocínio em cadeia

Pesquisadores investigaram se as representações internas em grandes modelos de linguagem fornecem uma janela mais direta para calibração e fidelidade do que o raciocínio em cadeia (CoT). Trabalhando com Eternis-Forecaster 8B no OpenForesight, eles treinaram sondas de agrupamento de representações em ativações intermediárias que alcançaram calibração substancialmente melhor em comparação com as saídas padrão do modelo.

• As sondas também funcionaram como detectores de mentiras, rastreando mudanças comportamentais e prevendo a direção da mudança em 84% dos casos, mesmo quando o CoT ocultava perturbações.
• A ablação de evidências mostrou que remover fontes influentes frequentemente alterava as previsões enquanto deixava os rastros de raciocínio intactos, destacando uma desconexão entre saída e processo.
• A resposta forçada revelou que as previsões estão em grande parte fixadas antes do início do raciocínio; rotear perguntas por distribuição de respostas pré-definida economizou 30-47% dos tokens sem perda de precisão.

Esses resultados estabelecem a sonda nas representações internas como uma ferramenta prática para calibrar, auditar e triar pronosticadores de modelos de linguagem.