media r/LocalLLaMA · 2시간 전 · open_models

ByteDance, AI 증류 회피 및 자체 방식으로 새 모델 개발 약속

번역 English → 한국어

ByteDance는 AI 증류 기술에 의존하지 않고 차세대 AI 모델을 개발하겠다는 의지를 발표했습니다.

회사는 향후 모델을 위해 독립적인 개발 경로를 추구할 예정입니다.

중요도 2/3 r/LocalLLaMA ByteDance Training methods

MiniMax, 네이티브 스테레오 오디오를 갖춘 오픈 웨이트 H3 비디오 생성 모델 출시

MiniMax는 Hugging Face에 오픈 웨이트 H3 오미모달 비디오 생성 모델을 출시했으며, 단일 포워드 패스에서 비디오를 구동할 수 있는 네이티브 스테레오 오디오를 특징으로 합니다. 이 모델은 5~15초 길이의 클립에 대해 2K 해상도와 24fps를 지원하며, 생성당 최대 9장의 참조 이미지, 3개의 비디오, 3개의 오디오 클립을 허용합니다.

arxiv arXiv cs.LG · 3일 전

U-OPSD는 LLM을 위한 비지도 온-폴리시 자기 증류(Self-Distillation)를 가능하게 한다

연구자들은 외부 감독 없이 모델의 자체 생성만 사용하여 대규모 언어 모델(LLM)의 사후 학습 성능을 향상시키는 방법인 비지도 온-폴리시 자기 증류(Unsupervised On-Policy Self-Distillation, U-OPSD)를 제안한다. 이 접근법은 다중 롤아웃을 샘플링하여 과반수 투표를 통해 의사 정답(pseudo-solution)을 구성한 후, 모델의 가장 긴 오답 완료 구문의 접두사 부분에 교사 분포를 증류(distill)한다.

arxiv arXiv cs.CL · 6일 전 · 조회수 2회

MiniMax, 네이티브 스테레오 오디오를 갖춘 오픈 웨이트 H3 비디오 생성 모델 출시

U-OPSD는 LLM을 위한 비지도 온-폴리시 자기 증류(Self-Distillation)를 가능하게 한다

Douyin이 최상위 성능을 갖춘 DME 다중 모임 임베딩 모델을 출시

Apple의 AFM3 20B는 명령 따르기 가지치기를 사용하여 ~20%의 레이어를 활성화합니다

NVIDIA NeMo가 Molt 출시: PyT-native 기반의 경량 에이전트 RL 프레임워크