Uma avaliação do sinal de alucinação do J-Space da Anthropic no Qwen3-4B revela que o ruído do espaço de trabalho roteia eficazmente erros de alta confiança em tarefas de recuperação de fatos, mas é cego a mitos internalizados e incompatível com raciocínio matemático.
- No PopQA, o roteamento pelo ruído do espaço de trabalho capturou erros com precisão de 100%, enquanto as logprobs de saída produziram uma precisão pior que o acaso (87.5%).
- A métrica colapsou no TruthfulQA, onde o modelo estava errado 84,9% das vezes mesmo quando o ruído do espaço de trabalho era baixo.
- Limites estáticos calibrados em conjuntos de dados factuais falharam no GSM8K porque a matemática passo a passo é uma atividade estruturalmente de alta entropia.
O autor observa que o ruído do espaço de trabalho detecta palpites epistêmicos, mas não pode detectar falsidades ontológicas, e planeja testar a escalonamento de parâmetros para encontrar onde as logprobs superficiais correspondem à clareza interna.