Los investigadores proponen utilizar la homología persistente finita de dimensión cero para representar la topología de preguntas mal planteadas dentro de modelos de lenguaje grandes. El método modela los estados ocultos contextuales como nubes de puntos, resumiendo cada capa del transformador con tres descriptores: vida media finita, entropía de vida normalizada y concentración de mayor vida. Estos descriptores se concatenan a través de las capas para formar una representación topológica unificada del estado interno de la consulta. El estudio introduce el direccionamiento de activación condicionado por topología, que recupera ejemplos similares para construir intervenciones que fomenten la aclaración o la abstención. Las evaluaciones en AmbigQA, SituatedQA y CLAMBER muestran que este enfoque supera a las líneas base basadas en prompts, mejorando la precisión de clasificación del 67.4% al 78.9% en AmbigQA. En SituatedQA, la precisión aumentó del 79.9% al 88.5%, mientras que CLAMBER registró ganancias del 57.6% al 69.6%. Además, el mecanismo de direccionamiento elevó la tasa promedio total de respuestas aceptables del 61.4% al 70.6% en tres LLM de peso abierto.
La homología persistente detecta y dirige las respuestas de los LLM hacia preguntas mal planteadas
Traducido del English → Español