Los autores presentan Epistemic Stance Flexibility Probing (ESFP), un benchmark conductual diseñado para medir qué tan bien los grandes modelos de lenguaje distinguen entre prompts atribuidos externamente y aquellos autoatribuidos. ESFP evalúa esta capacidad en seis categorías epistémicas utilizando 104 elementos controlados, evaluando la autoatribución léxica, la respuesta a nivel de representación, la densidad del contenido de la postura y la consistencia entre condiciones.
- Las evaluaciones de ocho modelos de vanguardia de cinco proveedores muestran que la flexibilidad epistémica es en gran medida ortogonal a la capacidad general del modelo.
- Un modelo de peso abierto de 27B igualó el rendimiento de los sistemas propietarios más fuertes en esta métrica específica.
- El modelo insignia de una familia tuvo un rendimiento inferior al de su contraparte ligera, y los modelos optimizados para el razonamiento no exhibieron consistentemente mayor flexibilidad.
- La densidad del contenido de la postura proporcionó la señal más fuerte para medir la flexibilidad, mientras que los marcadores léxicos superficiales como 'creo' pueden cambiar sin desplazamientos correspondientes en la postura expresada.
ESFP mide la propensión de un modelo a adaptar su postura epistémica bajo condiciones de atribución cambiantes, en lugar de servir como una medida general de competencia.