arxiv arXiv cs.CL · 2 jam lalu · research

Douyin merilis model embedding multimodal DME dengan kinerja terkini

Diterjemahkan dari English → Bahasa Indonesia

Douyin telah merilis laporan teknis untuk model Embedding Multimodal (DME)-nya, yang menggabungkan pra-pelatihan kontrasif skala besar dengan penalaran laten untuk mencapai diskriminasi dan efisiensi yang kuat.

Dilatih dalam dua tahap: Tahap 1 membangun ruang embedding multimodal terpadu melalui pra-pelatihan kontrasif, sementara Tahap 2 menggunakan Penalaran Laten Berbasis Tipe yang Berlandaskan Bukti dan Rekonstruksi Silang-Kondisional untuk meningkatkan kecukupan semantik.
Kedua mekanisme hanya berfungsi selama pelatihan, memungkinkan DME beroperasi dengan overhead sisi kueri yang marginal, sebanding dengan encoder kontrasif standar.
Pada MMEB-v2, varian 2B dan 9B mencapai hasil terkini dengan skor 74.8 dan 78.4, menunjukkan kekuatan khusus dalam tugas video dan dokumen visual.
Dalam produksi, DME memberikan peningkatan relatif sebesar 2.92% pada set evaluasi offline Douyin dan peningkatan Lifetime (LT) sebesar 0.1% dalam pengujian A/B online untuk pencarian.

Model ini diimplementasikan di berbagai skenario Douyin termasuk generatif, gambar, dan pencarian AI, mengatasi kebutuhan akan efisiensi di bawah indeks skala miliaran serta diskriminasi halus.

Kepentingan 2/3 arXiv cs.CL ByteDance Multimodal Research paper

Artikel terkait

media Hugging Face Forums · 2 hari lalu

Siswa SMA mencari penjamin arXiv untuk makalah AttnRoute-MoE Vision Transformer

Hanyu (Olivia) Yu, seorang siswa SMA kelas 10, sedang mencari penjamin arXiv di cs.LG atau cs.CV untuk mengunggah prapublikasi independennya yang berjudul "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."

arxiv arXiv cs.AI · 7 hari lalu

ClinFusion memperkenalkan MLLM berpusat visi untuk pemahaman medis holistik

Para peneliti memperkenalkan ClinFusion, model bahasa besar multimodal berpusat visi yang dirancang untuk mengatasi tantangan penerapan AI dalam praktik klinis dengan menyatukan pemahaman gambar medis 2D dan 3D. Sistem ini memiliki pengkode visi kaskade komposisional dengan operator Fusi Lokalitas Berpenuh Spasial Kaskade dan mencakup kerangka evaluasi baru yang terdiri dari MedIF-Bench serta metrik berbasis wilayah minat.

arxiv arXiv cs.CL · 7 hari lalu

ClinFusion: MLLM berpusat visi menetapkan rekor baru pada benchmark medis

Para peneliti memperkenalkan ClinFusion, model bahasa besar multimodal berpusat visi yang dirancang untuk pemahaman medis holistik yang menyatukan analisis gambar 2D dan 3D asli. Sistem ini memanfaatkan pengode visi kaskade komposisional dengan operator Fusi Lokalitas Berkesadaran Ruang Kaskade untuk mengatasi tantangan pencitraan medis heterogen.

lab NVIDIA Research · 7 hari lalu · 3 tayangan

Analisis AI multimodal komunikasi non-verbal di Delta Force

Peneliti menganalisis video gameplay dari game tembak-menembak kompetitif Delta Force untuk mengekstrak dan memahami komunikasi non-verbal yang muncul, seperti gestur dan pola pergerakan. Karya ini mengatasi kesenjangan dalam studi sebelumnya yang sebagian besar berfokus pada game MOBA atau koordinasi verbal di game tembak-menembak lainnya.

arxiv arXiv cs.CL · 19 hari lalu

CSSEL-P2P memungkinkan terjemahan ucapan simultan tanpa perubahan arsitektur

Artikel ini menyajikan CSSEL-P2P, sebuah pendekatan berbasis data untuk terjemahan ucapan simultan yang menghindari perubahan arsitektur yang rapuh dan kebijakan baca/tulis eksplisit yang sering diperlukan oleh sistem LLM decoder-only. Metode ini memanfaatkan potongan panjang tetap untuk dekoding streaming kumulatif dengan awalan terkunci berbasis rewind, dikombinasikan dengan target prefix-to-prefix berlabel guru dan penundaan terbatas untuk fine-tuning.