Artikel ini mengusulkan Symphony, sebuah arsitektur hibrida yang dapat diprogram dan khusus yang dirancang untuk mengatasi ketidakefisienan sistem memori dalam arsitektur berkinerja tinggi saat ini seperti GPU. Fokusnya adalah pada koordinasi data di seluruh hierarki memori untuk mengurangi pergerakan dan jarak data yang tidak perlu.
Peneliti mengatasi diskontinuitas temporal dalam relighting video jangka panjang dengan membingkai ulang tugas sebagai terjemahan domain laten bersyarat temporal. Kerangka kerja ini menegakkan kontinuitas antar-chunk dengan menyebarkan latens domain target melintasi batas dan menggunakan self-conditioning domain target termask untuk membuat perilaku ini dapat dipelajari.
Peneliti dari Nvidia telah memperkenalkan FusionRelight, sebuah metode untuk pencahayaan ulang potret yang menggabungkan transfer iluminasi yang secara fisik masuk akal dengan pelestarian identitas dan inferensi real-time yang ringkas. Pendekatan ini memanfaatkan Fusi Pengetahuan Domain Hibrida (HDKF), sebuah kerangka pelatihan yang mendistilasi prior fisika, reflektansi, dan realisme dari data sintetis, One-Light-at-a-Time (OLAT), dan di alam liar ke dalam model siswa.
Sebuah makalah baru mengeksplorasi penggunaan model bahasa besar fundamental (LLM) untuk mengotomatisasi optimisasi hiperparameter (HPO), sebuah proses yang biasanya mengandalkan pendekatan manual dalam pengaturan anggaran terbatas. Para penulis mengembangkan metodologi di mana LLM menyarankan konfigurasi hiperparameter berdasarkan deskripsi dataset dan model, yang kemudian disempurnakan secara iteratif sesuai dengan kinerja model.
Peneliti memperkenalkan Source, metode atribusi data pelatihan (TDA) baru yang menggabungkan efisiensi komputasi fungsi pengaruh dengan akurasi pendekatan berbasis unrolling. Dengan menggunakan formula mirip fungsi pengaruh untuk mengaproksimasi diferensiasi unrolled, Source mengatasi keterbatasan dalam metode diferensiasi implisit, seperti kegagalan mereka memperhitungkan bias optimisasi atau pipeline multi-tahap.
NVIDIA telah memperkenalkan OmniDreams, sebuah model dunia generatif dasar yang dirancang untuk mengatasi hambatan dalam mengevaluasi kebijakan pengemudi otonom di dalam simulasi loop tertutup. Model ini ditengah- dan pasca-pelatihan dari model difusi Cosmos pada 21k jam skenario berkendara, menghasilkan video secara autoregresif berdasarkan kondisi aksi secara waktu nyata.
Makalah ini memperkenalkan JacNet, sebuah arsitektur jaringan saraf yang secara langsung mempelajari Jacobian dari fungsi input-output alih-alih pemetaannya sendiri. Pendekatan ini memungkinkan kontrol yang tepat atas sifat-sifat turunan, memungkinkan penerapan prior struktural seperti invertibilitas dan kontinuitas k-Lipschitz.
Artikel ini memperkenalkan tesis oleh jlorraine yang menangani tantangan menerapkan optimasi dua tingkat atau bersarang ke pengaturan pembelajaran mendalam skala besar. Sementara optimasi berbasis gradien biasanya memperbarui satu set parameter, banyak aplikasi memerlukan pembaruan subset parameter pada tujuan berbeda yang bersarang satu sama lain.
Peneliti mengusulkan Masters, sebuah kerangka pembelajaran penguatan progresif-masking untuk mendistilasi model visi-bahasa skala besar menjadi versi kompak yang cocok untuk penyebaran di tepi. Metode ini mengatasi ketidakstabilan yang disebabkan oleh kesenjangan ukuran antara model guru dan siswa.
Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.
Peneliti menyajikan GenRecal, sebuah kerangka kerja distilasi tujuan umum yang mentransfer pengetahuan dari model visi-bahasa besar (VLM) ke rekan yang lebih kecil dan lebih efisien. Metode ini mengatasi tantangan arsitektur VLM heterogen dengan menggunakan Re-calibrator untuk menyelaraskan dan mengadaptasi representasi fitur di antara berbagai jenis model.
Para peneliti memperkenalkan Zone of Proximal Policy Optimization (ZPPO), sebuah metode yang menyuntikkan pengetahuan guru ke dalam prompt daripada gradien kebijakan untuk mengatasi kerapuhan dalam distilasi pengetahuan dan pergeseran dalam pembelajaran penguatan. ZPPO membangun Binary Candidate-included Questions (BCQ) dan Negative Candidate-included Questions (NCQ) untuk pertanyaan sulit, dan memutar ulang pertanyaan tersebut melalui buffer replays hingga akurasi siswa meningkat atau pertanyaan tersebut dihapus.
Peneliti mengusulkan kerangka kerja distilasi pikir-jawab baru yang meningkatkan kemampuan model bahasa-visi kompak untuk memanfaatkan bukti visual dengan melakukan masking pada prefix penalaran yang menonjol. Pendekatan ini mengatasi masalah "pelupakan visual" yang umum terjadi pada jejak pikir-jawab panjang, di mana siswa kehilangan fokus pada petunjuk visual selama penalaran yang diperpanjang.
Peneliti mengusulkan SpatialClaw, sebuah framework tanpa pelatihan yang mengadopsi kode sebagai antarmuka aksi untuk meningkatkan penalaran spasial terbuka 3D dan 4D dalam model visi-bahasa. Berbeda dengan agen yang ada yang mengandalkan eksekusi satu-lewat atau panggilan alat yang kaku, SpatialClaw mempertahankan kernel Python stateful yang telah dimuat sebelumnya dengan frame input dan primitif persepsi.
Para peneliti mengusulkan Optimisasi Kebijakan Eksplorasi Agen (AXPO) untuk mengatasi "Kesenjangan Berpikir-Bertindak" pada model visi-bahasa yang memerlukan alat eksternal. Kesenjangan ini menyebabkan metode RL standar seperti GRPO mencoba penggunaan alat hanya pada ~30% rollouts, dengan tingkat kegagalan tinggi yang menekan sinyal pembelajaran.
Para peneliti mengusulkan ROSA, sebuah sistem penyajian model dasar robotika yang dirancang untuk pabrik robot yang melampaui asumsi komputasi tepi satu robot. Sistem ini memanfaatkan penyajian GPU-pool bersama agar armada robot dapat mengakses GPU kelas server melalui jaringan.
Peneliti di NVIDIA telah memperkenalkan Spatial-IQ, sebuah kerangka kerja diagnostik yang dirancang untuk mengurai kecerdasan spasial dari model bahasa besar multimodal (MLLM). Berbeda dengan benchmark yang ada yang memperlakukan model sebagai kotak hitam, pendekatan ini menguraikan penghitungan objek dalam struktur 3D bertumpuk menjadi sembilan sub-tugas perseptual dan kognitif yang selaras dengan tahap perkembangan manusia.
Para peneliti menyajikan Cluster-Guided Vector Quantization (CGVQ), sebuah metode yang dirancang untuk meningkatkan kinerja laju-distorsi pada kompresi gambar berbasis primitif Gauss. Pendekatan ini mempartisi parameter Gauss menjadi kelompok-kelompok homogen sebelum kuantisasi, mengatasi inefisiensi yang disebabkan oleh penyimpanan sejumlah besar parameter floating-point per primitif.
Peneliti menganalisis video gameplay dari game tembak-menembak kompetitif Delta Force untuk mengekstrak dan memahami komunikasi non-verbal yang muncul, seperti gestur dan pola pergerakan. Karya ini mengatasi kesenjangan dalam studi sebelumnya yang sebagian besar berfokus pada game MOBA atau koordinasi verbal di game tembak-menembak lainnya.
Peneliti NVIDIA mengatasi kesulitan menjadwalkan permainan grup kompetitif dan mereplikasi lingkungan lab dengan mengadopsi metodologi eksperimen lapangan. Pendekatan ini mengintegrasikan eksperisi secara langsung ke dalam struktur turnamen, menciptakan turnamen-eksperimen hibrida.