Douyin은 대규모 대비적 사전 학습과 잠재 추론을 결합하여 강력한 판별력과 효율성을 달성한 그 다중 모션 임베딩(DME) 모델의 기술 보고서를 공개했습니다.
- 두 단계로 훈련됨: 1단계는 대비적 사전 학습을 통해 통합된 다중 모션 임베딩 공간을 확립하고, 2단계는 증거 기반 유형화 잠재 추론과 교차 조건부 재구성을 활용하여 의미적 충분성을 강화합니다.
- 두 메커니즘 모두 훈련 중에만 작동하므로 DME는 표준 대비적 인코더와 비교할 만한 미미한 쿼리 측 오버헤드로 서비스를 제공할 수 있습니다.
- MMEB-v2에서 2B 및 9B 변형은 각각 74.8과 78.4의 점수로 최상위 결과를 달성했으며, 특히 비디오 및 시각적 문서 작업에서 뛰어난 강점을 보였습니다.
- 실제 운영 환경에서 DME는 Douyin의 오프라인 평가 세트에서 2.92% 상대적 향상과 온라인 A/B 테스트에서 검색에 대한 0.1% 수명(LT) 향상을 제공했습니다.
이 모델은 생성, 이미지 및 AI 검색을 포함한 Douyin의 다양한 시나리오에 배포되어 수십억 규모 인덱싱 하에서의 효율성과 세밀한 판별력이라는 요구를 충족하고 있습니다.