Qwen2 기술 보고서는 0.5B에서 72B 파라미터에 이르는 새로운 파운데이션 및 지시어 튜닝 대규모 언어 및 멀티모달 모델인 Qwen2 시리즈를 소개합니다. 이번 릴리스에는 밀집형 아키텍처와 Mixture-of-Experts 모델이 모두 포함되며, 플래그십인 Qwen2-72B는 다양한 벤치마크에서 독점 모델에 견줄 만한 성능을 보여줍니다.

  • 기본 Qwen2-72B 모델은 MMLU에서 84.2, GPQA에서 37.9, HumanEval에서 64.6, GSM8K에서 89.5, BBH에서 82.4의 점수를 기록합니다.
  • 지시어 튜닝된 Qwen2-72B-Instruct 변형 모델은 MT-Bench에서 9.1, Arena-Hard에서 48.1, LiveCodeBench에서 35.7을 달성합니다.
  • 이 모델들은 영어, 중국어, 스페인어, 프랑스어, 독일어, 아랍어, 러시아어, 한국어, 일본어, 태국어, 베트남어를 포함하여 약 30개 언어를 지원합니다.
  • 모델 가중치는 Hugging Face와 ModelScope에서 공개적으로 제공되며, GitHub에서는 추가 코드 및 배포 자원을 제공합니다.

저자들은 커뮤니티의 혁신과 접근성을 장려하기 위해 이러한 가중치를 출시하며, 다양한 응용 분야와 연구 활동을 촉진하기 위해 양자화, 파인튜닝 및 배포를 위한 자원을 제공합니다.