lab NVIDIA Research · baru saja · research

Analisis AI multimodal komunikasi non-verbal di Delta Force

Diterjemahkan dari English → Bahasa Indonesia

Peneliti menganalisis video gameplay dari game tembak-menembak kompetitif Delta Force untuk mengekstrak dan memahami komunikasi non-verbal yang muncul, seperti gestur dan pola pergerakan. Karya ini mengatasi kesenjangan dalam studi sebelumnya yang sebagian besar berfokus pada game MOBA atau koordinasi verbal di game tembak-menembak lainnya.

Studi ini membandingkan dinamika tim ad hoc Delta Force dengan sistem ping terstruktur dari MOBAs seperti League of Legends dan Dota 2. Para penulis menggunakan pipeline baru yang menggunakan AI multimodal untuk menginterpretasi niat pemain tanpa mengandalkan obrolan suara eksplisit atau ping peta. Pendekatan ini dibangun di atas penelitian sebelumnya tentang pembelajaran fitur lintas game dan pemahaman game video menggunakan VLMs.

Dengan berfokus pada genre tembak-menembak, analisis ini memberikan wawasan baru tentang bagaimana pemain mengoordinasikan dan menegosiasikan kerja sama dalam lingkungan yang tidak terstruktur dengan risiko tinggi.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research NVIDIA Multimodal Research paper

Baca aslinya

Peneliti NVIDIA mengusulkan eksperimen lapangan di turnamen Rocket League

Peneliti NVIDIA mengatasi kesulitan menjadwalkan permainan grup kompetitif dan mereplikasi lingkungan lab dengan mengadopsi metodologi eksperimen lapangan. Pendekatan ini mengintegrasikan eksperisi secara langsung ke dalam struktur turnamen, menciptakan turnamen-eksperimen hibrida.

lab NVIDIA Research · 3 hari lalu

Kerangka AITE secara otonom menemukan algoritma nirkabel melalui pencarian yang digerakkan oleh LLM

Para peneliti memperkenalkan The AI Telco Engineer (AITE), sebuah kerangka kerja yang menggunakan pencarian evolusioner yang digerakkan oleh model bahasa besar untuk merancang algoritma secara otonom untuk masalah komunikasi kompleks sambil menavigasi trade-off antara kinerja dan kompleksitas.

arxiv arXiv cs.CL · 11 hari lalu

CSSEL-P2P memungkinkan terjemahan ucapan simultan tanpa perubahan arsitektur

Artikel ini menyajikan CSSEL-P2P, sebuah pendekatan berbasis data untuk terjemahan ucapan simultan yang menghindari perubahan arsitektur yang rapuh dan kebijakan baca/tulis eksplisit yang sering diperlukan oleh sistem LLM decoder-only. Metode ini memanfaatkan potongan panjang tetap untuk dekoding streaming kumulatif dengan awalan terkunci berbasis rewind, dikombinasikan dengan target prefix-to-prefix berlabel guru dan penundaan terbatas untuk fine-tuning.

arxiv arXiv cs.CL · 12 hari lalu

Groc-PO memperkenalkan optimasi preferensi konteks terlandaskan untuk mengurangi halusinasi multimodal

Para peneliti mengusulkan Grounded Context Preference Optimization (Groc-PO), sebuah kerangka kerja yang dirancang untuk mengatasi masalah ketidakjujuran seperti halusinasi visual dan fabrikasi konten dalam Model Bahasa Besar Multimodal (MLLMs). Metode ini menangani tantangan penugasan kredit di mana Direct Preference Optimization (DPO) standar gagal menekan propagasi kesalahan dari tahap pengondisian awal dengan menerapkan pengawasan hanya pada jawaban akhir.

arxiv arXiv cs.CL · 12 hari lalu

Fusi multi-fitur interaktif meningkatkan rekonstruksi semantik dari rekaman otak non-invasif

Kerangka kerja baru mengatasi ketidakcocokan representasi dalam rekonstruksi semantik kontinu dengan menggabungkan representasi leksikal statis (W2V) dengan representasi kontekstual dinamis (GPT). Studi ini membandingkan dua pendekatan integrasi: Concatenation Naif linier dan Cross-Attention Multi-Head non-linier.