研究人员推出了 PolyWorkBench，这是一个旨在评估大型语言模型智能体在多语言长周期工作流程中表现的基准测试。它解决了现有基准测试通常假设单语言环境的缺陷，而现实世界的应用往往涉及混合语言的输入和输出。

  • 该基准测试涵盖五个领域的67项任务：商业、知识工作、法律分析、本地化和制造业。
  • 智能体需要处理异构的多语言输入，执行迭代推理，调用外部工具，并生成结构化输出。
  • 评估采用混合框架，结合结构评分、可执行验证和基于 LLM 的语义评估。
  • 实证结果表明，与单语言环境相比，最先进的 LLM 智能体在多语言环境中性能显著下降。

分析表明，多语言性在推理和执行步骤中引入了累积效应，突显了联合建模语言变异和程序化决策的必要性。