arxiv arXiv cs.CL · 1시간 전 · research

Relay-OPD는 온파시얼리 디스틸레이션에서 학습 궤적 길이를 50% 이상 단축합니다

번역 English → 한국어

연구자들은 표준 온파시얼리 디스틸레이션에서 학생의 오류가 신뢰할 수 없는 감독을 초래하는 접두사 실패 문제를 해결하기 위해 Relay On-Policy Distillation (Relay-OPD)를 소개했습니다. 이 방법은 교사-학생 연속성 비대칭을 트리거로 사용하여, 학생이 재개하기 전에 교사가 잠시 개입하여 궤적을 재지시합니다.

여덟 가지 수학적 추론 벤치마크에서 Qwen3-4B-Instruct-2507 교사와 Qwen3-0.6B/1.7B-Non-Thinking 학생을 활용합니다.
모든 벤치마크에서 최고 또는 준최고의 결과를 달성하며, 1.7B 모델 기준 표준 OPD 대비 평균 +5.73%, FastOPD 대비 +1.49% 향상되었습니다.
0.6B 규모에서도 일관된 성능 향상이 관찰되었으며, 학습 궤적 길이는 50% 이상 단축되었습니다.

이 접근법은 제한된 릴레이 예산을 통해 중요한 초기 단계에 개입을 집중함으로써 학생 정책과의 편차를 최소화하면서도 효율성과 정확성을 크게 개선합니다.

중요도 2/3 arXiv cs.CL Alibaba (Qwen) Research paper Training methods

관련 기사

arxiv arXiv cs.CL · 13일 전

약물 설명서 생성을 위한 Qwen 기반 소규모 언어 모델의 사후 학습 정렬

한 연구는 의생명 데이터에서 텍스트로의 생성을 위해 Qwen 기반 소규모 언어 모델에 대해 지도 미세 조정(SFT), 직접 선호도 최적화(DPO), 오즈비 선호도 최적화(ORPO) 및 그룹 상대 정책 최적화(GRPO)를 포함한 사후 학습 방법을 비교한다.

arxiv arXiv cs.CL · 15일 전

UMoE가 MoE 전문가 풀을 재배치하여 도메인 특화 파인튜닝 개선

연구자들은 지도 학습 파인튜닝 전에 Mixture-of-Experts 모델의 전문가 풀을 대상 도메인으로 재배치하는 파이프라인인 UMoE를 제안했습니다. 이 방법은 낮은 중요도를 가진 전문가를 가지치기하고 섭동 기반 확장을 통해 풀을 재생성하면서 원래 파라미터 수와 추론 비용을 유지합니다.

arxiv arXiv cs.CL · 19일 전

다국어 화자 간화 대화 음성을 위한 다이애리제이션 가이드드 Qwen-ASR 적응

본 논문은 모듈러형 화자 다이애리제이션 프론트엔드와 챌린지 적응형 Qwen3-ASR-1.7B 인식기를 결합한 MLC-SLM 2026 챌린지를 위한 시스템을 설명한다.

arxiv arXiv cs.CL · 21일 전 · 조회수 2회

고정 백본 연구는 도메인 적응 효율성이 기존 타겟 도메인 지식에 의존함을 발견

Qwen3-Embedding, RoBERTa-base, FinBERT와 같은 고정 임베딩 백본을 평가한 사례 연구는 명시적 도메인 적응의 이점이 모델의 사전 지식에 따라 크게 달라진다는 것을 드러냈다. 연구는 소비자 리뷰에서 영화 리뷰(SST-2) 및 금융 뉴스로 감정 분석을 이전하기 위해 Domain-Adversarial Neural Networks (DANN), Maximum Mean Discrepancy (MMD), Supervised Contrastive Learning (SCL)를 사용하여 경량 MLP 어댑터를 훈련했다.

arxiv arXiv cs.CL · 22일 전 · 조회수 1회

정렬된 언어 모델이 후기 수정 전에 잘못된 답에 일시적으로 고정한다는 연구 결과

세 가지 계열의 17개 모델을 대상으로 한 연구는 정렬된 언어 모델이 후기 레이어 메커니즘에 의해 수정되기 전, 중간 레이어(25-90% 깊이)에서 잘못된 답에 일시적으로 고정하는 경우가 많다는 것을 보여줍니다. 이 "잘못된 dip"는 활성화 이식을 통해 인과적으로 검증되었으며, 정렬 레시피와 모델 규모에 따라 크게 달라집니다.