Um usuário testou o artigo sobre a Lente Jacobiana / Espaço Global da Anthropic em vários modelos de código aberto, incluindo Gemma 4 e variantes do Qwen, para avaliar sua utilidade na detecção de alucinações confiantes na inferência local.
- O estudo analisou trajetórias do espaço de trabalho nos modelos Gemma E4B, 12B, 12B abliterated, 26B MoE e Qwen 3.6 27B usando 500 perguntas do TriviaQA por modelo.
- Nos modelos Gemma, espaços limpos correlacionaram-se com 77% de precisão, enquanto os ruidosos caíram para 42%, com características do espaço superando a confiança na saída isoladamente.
- Um roteador de regressão logística treinado nas características da trajetória do espaço alcançou altas pontuações de AUC para prever respostas erradas, particularmente no Gemma E4B (0,787 combinado) e 12B (0,843 combinado).
- A abordagem falhou no Qwen 27B, onde a confiança na saída já estava bem calibrada e as características do espaço não ofereceram benefício adicional.
- Modelos abliterated mostraram taxas aumentadas de fabricação para entidades falsas em comparação com os modelos base, sugerindo uma perda de sinais de "não sei".
As descobertas sugerem que as características da trajetória do espaço da lente Jacobiana podem servir como um sinal de risco eficaz de passagem única para roteamento local-para-nuvem quando a confiança na saída está mal calibrada.