Los investigadores presentan PolyWorkBench, un benchmark diseñado para evaluar agentes de modelos de lenguaje grandes en flujos de trabajo laborales multilingües de horizonte largo. Esto aborda la brecha en los benchmarks existentes que típicamente asumen configuraciones monolingües, mientras que las aplicaciones del mundo real a menudo involucran entradas y salidas mixtas.
- El benchmark comprende 67 tareas en cinco dominios: comercio, trabajo intelectual, análisis legal, localización y manufactura.
- Se requiere que los agentes procesen entradas multilingües heterogéneas, realicen razonamiento iterativo, invoquen herramientas externas y produzcan salidas estructuradas.
- La evaluación utiliza un marco híbrido que combina calificación estructural, verificación ejecutable y evaluación semántica basada en LLM.
- Los resultados empíricos indican que los agentes LLM de última generación sufren una degradación significativa del rendimiento en configuraciones multilingües en comparación con las monolingües.
El análisis sugiere que el multilingüismo introduce efectos acumulativos a través de los pasos de razonamiento y ejecución, destacando la necesidad de modelar conjuntamente la variación lingüística y la toma de decisiones procedimentales.