Исследователи представляют PolyWorkBench, бенчмарк, предназначенный для оценки агентов больших языковых моделей на многоязычных рабочих процессах с длительным горизонтом планирования. Это восполняет пробел в существующих бенчмарках, которые обычно предполагают моноязычные условия, тогда как реальные приложения часто включают смешанные языковые входные и выходные данные.

  • Бенчмарк включает 67 задач по пяти направлениям: коммерция, интеллектуальный труд, юридический анализ, локализация и производство.
  • Агенты должны обрабатывать гетерогенные многоязычные входные данные, выполнять итеративное рассуждение, вызывать внешние инструменты и генерировать структурированные выходные данные.
  • Оценка использует гибридную систему, сочетающую структурную проверку, исполняемую верификацию и семантическую оценку на основе LLM.
  • Эмпирические результаты показывают, что современные агенты LLM испытывают значительное снижение производительности в многоязычных условиях по сравнению с моноязычными.

Анализ показывает, что многоязычность создает кумулятивные эффекты на этапах рассуждения и выполнения, подчеркивая необходимость совместного моделирования языковых вариаций и процедурного принятия решений.