Un estudio desafía la suposición de que las respuestas a prompts reflejan confiablemente los valores de un modelo al comparar cómo los modelos de lenguaje grandes manejan consultas objetivas versus subjetivas. Los investigadores evaluaron cuatro familias de modelos ajustados por instrucciones en tres conjuntos de datos objetivos (MMLU, ARC, CulturalBench) y tres conjuntos de datos subjetivos (Political Compass Test, ValueBench, World Values Survey). Al aplicar varios cambios de prompt a cada pregunta, midieron si los modelos mantenían respuestas consistentes entre las variantes.
- Se encontraron efectos significativos para el modelo, el conjunto de datos, la categoría del prompt y sus interacciones utilizando ecuaciones generalizadas de estimación binomial.
- La interacción entre el tipo de conjunto de datos y la categoría del prompt fue particularmente grande, lo que indica que la robustez varía significativamente según la naturaleza de la pregunta.
- Los resultados demuestran que la robustez del prompt no es uniforme, sino que depende en gran medida del tipo específico de pregunta, el tipo de cambio de prompt aplicado y la arquitectura del modelo.
Estos hallazgos sugieren que las evaluaciones al estilo de encuestas que tratan las respuestas como evidencia de valores políticos o actitudes sociales son frágiles, ya que no se puede asumir consistencia entre diferentes tipos de preguntas.