연구자들은 대규모 언어 모델이 구성과 순서가 중요한 다단계 데이터 정제 레시피를 직접적이고 충실하게 실행할 수 있는지 평가하도록 설계된 벤치마크인 CDR-Bench를 소개했습니다. 이 벤치마크는 4개의 도메인과 29개의 연산자에 걸쳐 3,462개의 작업을 특징으로 하며, 정확한 평가를 위해 결정론적 참조 출력을 사용합니다.
- 10개 이상의 최첨단 LLM에 대한 실험은 구성적 설정에서 일관된 실패 패턴을 보여줍니다.
- 작업에 구성이 필요할 때 성능이 급격히 저하되며, 순서 민감 레시피의 성공률은 붕괴됩니다.
- 이 벤치마크는 절차적 충실성을 특히 테스트하기 위해 텍스트 편집과 코드 실행을 분리합니다.
이러한 발견은 현재 모델이 신뢰할 수 있는 구성적 데이터 정제를 위한 필요한 절차적 충실성이 부족함을 나타냅니다.