Un estudio descompone la no determinismo en las recomendaciones de marcas de modelos de lenguaje grande (LLM) en cuatro fuentes separables: remuestreo dentro del prompt, paráfrasis del prompt, identidad del modelo e idioma de la consulta. Mediante un análisis de efectos aleatorios cruzados sobre 12.933 respuestas en tres modelos y ocho idiomas, los autores identifican el idioma de la consulta como la mayor fuente de varianza con un 26,5%, mientras que la identidad de la marca representa solo el 1,5%.
- El idioma de la consulta explica el 26,5% de la varianza de la respuesta, mientras que la identidad de la marca contribuye solo con el 1,5% (ICC 0,0146).
- El remuestreo puro representa el 34,8% de la varianza, y la interacción marca-contexto explica el 29,6%.
- Las interacciones marca-idioma representan el 8,6% de la varianza, lo que indica una penalización bilingüe.
- Las interacciones marca-modelo y marca-prompt son cercanas a cero.
- Añadir idiomas y modelos reduce la varianza del error relativo con mayor eficacia que añadir repeticiones; la quinta repetición reduce el error solo en 0,0003.
Los autores concluyen que la fiabilidad del ranking de marcas sigue siendo baja (cercana a 0,01 para una única respuesta) y debe mejorarse distribuyendo las evaluaciones entre idiomas y modelos en lugar de repetir los prompts.