칭화대 및 안트그룹, 미묘한 프롬프트에서 LLM 지시 따르기 신뢰도 최대 61.8% 하락 발견

칭화대학교와 안트그룹 연구진은 대규모 언어 모델의 "미세 지향 신뢰성"을 평가하기 위해 설계된 IFEval++ 벤치마크를 소개하며, 현재 모델들이 높은 표준 벤치마크 점수에도 불구하고 미세한 프롬프트 변화에 크게 어려움을 겪고 있음을 밝혔습니다.

• 연구는 "사촌 프롬프트"를 유사한 의도를 전달하지만 어구나 맥락이 다른 입력으로 정의하고, 그 간 일관성을 정량화하기 위해 reliable@k 지표를 제안합니다.
• IFEval++은 재문장 변환, 방해 요소 추가, 작업 재구성이라는 자동화된 파이프라인을 통해 생성된 10개의 사촌 프롬프트를 각각 포함하는 541개의 테스트 케이스로 구성됩니다.
• 20개의 상용 모델과 26개의 오픈소스 모델을 평가한 결과, Qwen3-0.6B의 경우 최대 61.8%, GPT-3.5-turbo-1106의 경우 표준 IFEval 정확도에서 IFEval++의 reliable@10로 전환할 때 각각 54.7%의 성능 하락이 나타났습니다.
• 가장 신뢰성 있는 모델인 GPT-5조차 미묘한 조건 하에서 신뢰도가 18.3% 감소했습니다.
• 저자들은 거부 샘플링을 통한 병렬 테스트 타임 스케일링이 가장 효과적인 개선 방법임을 확인했으며, 이를 통해 Qwen3-4B와 같은 약한 모델이 LLaMA-3.3-70B-Instruct와 같은 강력한 모델을 능가할 수 있습니다.

이 결과는 미세 지향 신뢰성이 현재 LLM 능력의 중요한 격차이며, 더 신뢰할 수 있고 신뢰성 있는 AI 시스템을 구축하기 위한 필수 단계임을 강조합니다.