一项研究考察了检索增强生成(RAG)框架如何将检索材料中的意识形态偏见传递给大型语言模型(LLM)的响应。研究确定采样温度显著影响这种意识形态转移的强度。
- 研究人员对1,117篇关于COVID-19治疗的文章语料库应用了词汇多维分析,以识别用作外部知识的三种意识形态话语。
- 在不同采样温度下对LLM进行意识形态问题测试,并评估其输出与参考文本的语义和词汇相似性。
- 生成答案与参考文本之间的话语对齐在中等温度下达到峰值,平衡了随机性与检索基础。
- 在低温下对齐度下降,表明过度确定性的采样会抑制意识形态话语的转移。
研究结果强调,RAG系统倾向于根据其检索来源放大或抑制意识形态立场,而温度作为话语对齐的关键控制因素。