연구자들은 대규모 언어 모델 에이전트를 다국어 장기 직장 워크플로우에서 평가하기 위해 설계된 벤치마크인 PolyWorkBench를 소개했습니다. 이는 기존 벤치마크가 일반적으로 단일 언어 설정을 가정하는 반면, 실제 세계 응용 프로그램은 종종 혼합 언어 입력과 출력을 포함한다는 격차를 해결합니다.
- 이 벤치마크는 상거래, 지식 작업, 법적 분석, 현지화 및 제조의 다섯 가지 도메인에 걸쳐 67개의 작업으로 구성됩니다.
- 에이전트는 이종 다국어 입력을 처리하고, 반복적 추론을 수행하며, 외부 도구를 호출하고, 구조화된 출력을 생성해야 합니다.
- 평가는 구조적 채점, 실행 가능 검증 및 LLM 기반 의미 평가를 결합한 하이브리드 프레임워크를 활용합니다.
- 경험적 결과는 최첨단 LLM 에이전트가 다국어 설정에서 단일 언어 설정과 비교하여 상당한 성능 저하를 겪음을 나타냅니다.
분석은 다국어성이 추론 및 실행 단계에 걸쳐 누적 효과를 도입함을 시사하며, 언어 변이와 절차적 의사결정을 함께 모델링할 필요성을 강조합니다.