Los investigadores han desentrañado con éxito las representaciones internas del conocimiento de resolubilidad matemática y la verbalización dentro de los modelos de lenguaje grandes, mostrando que se codifican como vectores distintos y linealmente decodificables. El estudio revela que la fabricación del modelo está impulsada principalmente por cambios en la verbalización en lugar del conocimiento subyacente.
- El conocimiento y la verbalización se identifican como direcciones latentes separadas en los estados ocultos del modelo en múltiples LLM.
- La fabricación se correlaciona con cambios en las representaciones de verbalización en lugar del conocimiento central de resolubilidad.
- El uso de pistas de no resolubilidad en el prompt reduce la fabricación al desplazar la dirección de verbalización.
- La dirección de activación puede manipular mecánicamente estas representaciones para mejorar la abstención del modelo.
Este trabajo permite el análisis y la manipulación independientes de las creencias sobre la resolubilidad, habilitando un control más efectivo sobre cuándo los modelos deben abstenerse de responder.