一项研究提出了一个用于BioASQ 14b Task B挑战的大型语言模型框架,该框架通过根据问题类型选择推理过程来提高答案的鲁棒性。该系统对是/否问题使用片段洗牌和自我反思,对事实性问题使用基于思维的链式上下文学习,对列表问题使用多智能体架构。

  • 是/否问题利用片段洗牌和自我反思来降低对证据顺序的敏感性。
  • 事实性问题采用完整片段输入结合基于思维链的上下文学习进行实体识别。
  • 列表问题通过多智能体架构处理,以实现协作式证据提取和验证。

该框架在Batch 4的事实性子任务中获得第一名,证明了将特定于问题类型的推理与基于智能体的验证相结合的有效性。