대규모 언어 모델(LLM) 브랜드 추천의 비결정론을 프롬프트 내 재샘플링, 프롬프트 의역, 모델 정체성, 쿼리 언어라는 네 가지 분리 가능한 요인으로 분해하는 연구가 수행되었습니다. 세 모델과 여덟 개 언어에 걸친 12,933개의 응답에 대해 교차 랜덤 효과 분석을 수행한 결과, 쿼리 언어가 분산의 가장 큰 원인인 26.5%를 차지하며 브랜드 정체성은 단 1.5%에 불과함이 확인되었습니다.

  • 쿼리 언어는 응답 분산의 26.5%를 설명하는 반면, 브랜드 정체성은 1.5%(ICC 0.0146)만 기여합니다.
  • 순수 재샘플링은 분산의 34.8%를 차지하며, 문맥 내 브랜드와의 상호작용은 29.6%를 설명합니다.
  • 브랜드와 언어 간 상호작용은 분산의 8.6%를 차지하여 이중 언어 페널티가 있음을 나타냅니다.
  • 브랜드와 모델 간, 그리고 브랜드와 프롬프트 간 상호작용은 거의 제로입니다.
  • 언어와 모델을 추가하는 것은 반복을 추가하는 것보다 상대 오차 분산을 더 효과적으로 줄이며; 다섯 번째 반복은 오류를 0.0003만 감소시킵니다.

저자들은 브랜드 랭킹 신뢰도가 여전히 낮으며(단일 답변 기준 약 0.01), 프롬프트 반복보다는 언어와 모델에 걸쳐 평가를 분산시켜 개선해야 한다고 결론지었습니다.