Una evaluación de la señal de alucinación de J-Space de Anthropic en Qwen3-4B revela que el ruido del espacio de trabajo enruta eficazmente los errores de alta confianza en tareas de recuperación de hechos, pero es ciego a los mitos internalizados e incompatible con el razonamiento matemático.
- En PopQA, el enrutamiento por ruido del espacio de trabajo capturó errores con una precisión del 100%, mientras que las logprobs de salida dieron una precisión peor que el azar (87.5%).
- La métrica colapsó en TruthfulQA, donde el modelo falló el 84.9% de las veces incluso cuando el ruido del espacio de trabajo era bajo.
- Los umbrales estáticos calibrados en conjuntos de datos factuales fallaron en GSM8K porque las matemáticas paso a paso son una actividad estructuralmente de alta entropía.
El autor señala que el ruido del espacio de trabajo detecta conjeturas epistémicas pero no puede detectar falsedades ontológicas, y planea probar la escalado de parámetros para encontrar dónde las logprobs superficiales coinciden con la claridad interna.