arxiv Moonshot AI (arXiv) · 755일 전

Qwen 팀, 72B 밀집 및 MoE 모델이 포함된 Qwen2 시리즈 출시

번역 English → 한국어

Qwen 팀은 Qwen2 기술 보고서를 발표하며 0.5억에서 720억 파라미터에 이르는 새로운 대규모 언어 모델 시리즈를 소개했습니다. 여기에는 Dense 아키텍처와 Mixture-of-Experts (MoE) 아키텍처가 모두 포함됩니다.

플래그십 Qwen2-72B 베이스 모델은 MMLU에서 84.2, GSM8K에서 89.5, HumanEval에서 64.6의 점수를 달성했습니다.
지시문 튜닝된 Qwen2-72B-Instruct 변형 모델은 MT-Bench에서 9.1, LiveCodeBench에서 35.7에 도달했습니다.
모델은 7조 개 이상의 토큰으로 학습되었으며 약 30개 언어를 지원합니다.
가중치는 커뮤니티 사용을 위해 Hugging Face 및 ModelScope에서 공개적으로 제공됩니다.

이번 릴리스는 연구 및 배포에 접근 가능하면서도 독점 시스템과 경쟁할 수 있는 고성능 기반 모델을 제공하는 것을 목표로 합니다.

중요도 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

벤치마크

벤치마크	모델	점수
GPQA Diamond	Qwen2-72B	37.9%
LiveCodeBench	Qwen2-72B-Instruct	35.7%
GSM8K	Qwen2-72B	89.5%
MMLU	Qwen2-72B	84.2%
BIG-Bench Hard	Qwen2-72B	82.4%
HumanEval	Qwen2-72B	64.6%

원문 보기

Qwen3가 통합 사고 모드를 도입하고 다국어 지원을 119개 언어로 확장

Qwen3 기술 보고서는 Qwen 모델 계열의 최신 버전을 소개하며, 0.6억에서 2350억 파라미터 규모에 이르는 밀집형과 전문가 혼합(MoE) 아키텍처를 특징으로 합니다. 주요 혁신은 복잡한 추론을 위한 사고 모드와 빠른 응답을 위한 비사고 모드를 통합된 프레임워크로 통합하여 서로 다른 모델 간 전환의 필요성을 제거한 것입니다.

arxiv Moonshot AI (arXiv) · 452일 전 · 조회수 2회

Qwen3가 통합 사고 모드와 119개 언어 지원을 도입하다

Qwen3 기술 보고서는 0.6억에서 2,350억 파라미터에 이르는 새로운 시리얼의 오픈 가중치 대규모 언어 모델을 소개하며, 여기에는 밀집형(Dense)과 전문가 혼합(Mixture-of-Experts) 아키텍처가 모두 포함됩니다. 주요 혁신은 복잡한 추론을 위한 "사고 모드"와 빠른 응답을 위한 "비사고 모드"를 단일 프레임워크에 통합하여 모델 교체 없이 동적으로 전환할 수 있게 한다는 것입니다.

arxiv Moonshot AI (arXiv) · 598일 전

Qwen2.5는 18T 사전 학습 토큰을 갖춘 밀집 및 MoE 모델 출시

Qwen2.5 기술 보고서는 오픈 가중치 밀집 변형과 독점 혼합 전문가(MoE) 모델을 모두 갖춘 포괄적인 대규모 언어 모델 시리즈의 출시를 상세히 다룹니다. 이번 업데이트는 사전 학습 데이터를 7조 토큰에서 18조 토큰으로 크게 확장했으며, 지도 미세 조정 및 강화 학습을 통해 사후 학습에 100만 개 이상의 샘플을 사용합니다.

arxiv Moonshot AI (arXiv) · 598일 전

Qwen2.5는 사전 학습을 18조 토큰으로 확장하고 다단계 RL을 사용

알리바바는 Qwen2.5 기술 보고서를 출시하여, 사전 학습과 사후 학습 단계 모두에서 상당한 개선을 갖춘 대규모 언어 모델의 포괄적인 시리즈를 소개했습니다. 이 업데이트는 고품질 사전 학습 데이터셋을 7조 토큰에서 18조 토큰으로 확장하고, 100만 개 이상의 샘플과 함께 복잡한 지도 미세 조정 및 다단계 강화 학습을 구현합니다.

arxiv Moonshot AI (arXiv) · 755일 전

Qwen2 기술 보고서: 최대 72B 규모의 밀집형 및 MoE 모델 소개

Qwen2 기술 보고서는 0.5B에서 72B 파라미터에 이르는 새로운 파운데이션 및 지시어 튜닝 대규모 언어 및 멀티모달 모델인 Qwen2 시리즈를 소개합니다. 이번 릴리스에는 밀집형 아키텍처와 Mixture-of-Experts 모델이 모두 포함되며, 플래그십인 Qwen2-72B는 다양한 벤치마크에서 독점 모델에 견줄 만한 성능을 보여줍니다.