Un usuario probó el artículo sobre la Lente Jacobiana / Espacio de Trabajo Global de Anthropic en varios modelos de código abierto, incluidas Gemma 4 y variantes de Qwen, para evaluar su utilidad para detectar alucinaciones seguras en inferencia local.
- El estudio analizó las trayectorias del espacio de trabajo en los modelos Gemma E4B, 12B, 12B abliterated, 26B MoE y Qwen 3.6 27B utilizando 500 preguntas de TriviaQA por modelo.
- En los modelos Gemma, los espacios de trabajo limpios se correlacionaron con un 77% de corrección, mientras que los ruidosos bajaron al 42%, con las características del espacio de trabajo superando a la confianza en la salida por sí sola.
- Un enrutador de regresión logística entrenado en características de trayectorias del espacio de trabajo logró altas puntuaciones AUC para predecir respuestas incorrectas, particularmente en Gemma E4B (0.787 combinado) y 12B (0.843 combinado).
- El enfoque falló en Qwen 27B, donde la confianza en la salida ya estaba bien calibrada y las características del espacio de trabajo no proporcionaron ningún beneficio adicional.
- Los modelos abliterated mostraron tasas aumentadas de fabricación para entidades falsas en comparación con los modelos base, lo que sugiere una pérdida de señales de "no sé".
Los hallazgos sugieren que las características de trayectorias del espacio de trabajo con lente Jacobiano pueden servir como una señal de riesgo de un solo pase para el enrutamiento de local a nube cuando la confianza en la salida está mal calibrada.