Um estudo decompõe a não determinística nas recomendações de marca de modelos de linguagem grande (LLM) em quatro fontes separáveis: resampling dentro do prompt, paráfrase do prompt, identidade do modelo e linguagem da consulta. Usando uma análise de efeitos aleatórios cruzados em 12.933 respostas entre três modelos e oito idiomas, os autores identificam a linguagem da consulta como a maior fonte de variância em 26,5%, enquanto a identidade da marca responde por apenas 1,5%.
- A linguagem da consulta explica 26,5% da variância das respostas, enquanto a identidade da marca contribui com apenas 1,5% (ICC 0,0146).
- O resampling puro responde por 34,8% da variância, e a interação marca-no-contexto explica 29,6%.
- As interações marca-por-idioma respondem por 8,6% da variância, indicando uma penalidade bilíngue.
- As interações marca-por-modelo e marca-por-prompt estão próximas de zero.
- Adicionar idiomas e modelos reduz a variância do erro relativo mais eficazmente do que adicionar repetições; a quinta repetição reduz o erro em apenas 0,0003.
Os autores concluem que a confiabilidade da classificação de marcas permanece baixa (próxima de 0,01 para uma única resposta) e deve ser melhorada distribuindo as avaliações entre idiomas e modelos, em vez de repetir os prompts.