Pesquisadores apresentam o PolyWorkBench, um benchmark projetado para avaliar agentes de modelos de linguagem grandes em fluxos de trabalho no local de trabalho multilíngues de longo horizonte. Isso aborda a lacuna nos benchmarks existentes que tipicamente assumem configurações monolíngues, enquanto aplicações do mundo real frequentemente envolvem entradas e saídas mistas.
- O benchmark compreende 67 tarefas em cinco domínios: comércio, trabalho intelectual, análise jurídica, localização e manufatura.
- Os agentes são obrigados a processar entradas multilíngues heterogêneas, realizar raciocínio iterativo, invocar ferramentas externas e produzir saídas estruturadas.
- A avaliação utiliza um framework híbrido combinando graduação estrutural, verificação executável e avaliação semântica baseada em LLM.
- Resultados empíricos indicam que agentes LLM de última geração sofrem degradação significativa de desempenho em configurações multilíngues comparado às monolíngues.
A análise sugere que o multilinguismo introduz efeitos cumulativos através dos passos de raciocínio e execução, destacando a necessidade de modelar conjuntamente a variação linguística e a tomada de decisão processual.