lab NVIDIA Research · 1 jam lalu · research

jlorraine menyajikan alat optimasi bersarang yang skalabel untuk pembelajaran mendalam

Diterjemahkan dari English → Bahasa Indonesia

Artikel ini memperkenalkan tesis oleh jlorraine yang menangani tantangan menerapkan optimasi dua tingkat atau bersarang ke pengaturan pembelajaran mendalam skala besar. Sementara optimasi berbasis gradien biasanya memperbarui satu set parameter, banyak aplikasi memerlukan pembaruan subset parameter pada tujuan berbeda yang bersarang satu sama lain.

Karya ini berfokus pada contoh motivasi seperti optimasi hiperparameter dan jaringan adversarial generatif.
Menyoroti bahwa menerapkan metode klasik secara naif sering gagal saat menyelesaikan masalah bersarang ini dalam skala besar.
Tesis ini membangun alat spesifik yang dirancang untuk membuat optimasi bersarang skalabel dalam konteks pembelajaran mendalam.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research Training methods

Baca aslinya

LLM menyamai atau mengalahkan optimisasi Bayesian untuk optimisasi hiperparameter

Sebuah makalah baru mengeksplorasi penggunaan model bahasa besar fundamental (LLM) untuk mengotomatisasi optimisasi hiperparameter (HPO), sebuah proses yang biasanya mengandalkan pendekatan manual dalam pengaturan anggaran terbatas. Para penulis mengembangkan metodologi di mana LLM menyarankan konfigurasi hiperparameter berdasarkan deskripsi dataset dan model, yang kemudian disempurnakan secara iteratif sesuai dengan kinerja model.

lab NVIDIA Research · 1 jam lalu · 27 tayangan Langsung

Source memperkenalkan diferensiasi unrolled aproksimasi untuk atribusi data pelatihan

Peneliti memperkenalkan Source, metode atribusi data pelatihan (TDA) baru yang menggabungkan efisiensi komputasi fungsi pengaruh dengan akurasi pendekatan berbasis unrolling. Dengan menggunakan formula mirip fungsi pengaruh untuk mengaproksimasi diferensiasi unrolled, Source mengatasi keterbatasan dalam metode diferensiasi implisit, seperti kegagalan mereka memperhitungkan bias optimisasi atau pipeline multi-tahap.

lab NVIDIA Research · 1 jam lalu Langsung

JacNet mempelajari fungsi dengan memodelkan langsung Jacobian terstruktur

Makalah ini memperkenalkan JacNet, sebuah arsitektur jaringan saraf yang secara langsung mempelajari Jacobian dari fungsi input-output alih-alih pemetaannya sendiri. Pendekatan ini memungkinkan kontrol yang tepat atas sifat-sifat turunan, memungkinkan penerapan prior struktural seperti invertibilitas dan kontinuitas k-Lipschitz.

arxiv arXiv cs.AI · 7 jam lalu

MiLMMT-46-v1.0 meningkatkan terjemahan multibahasa melalui pasca-pelatihan bebas referensi

Para peneliti telah mengembangkan MiLMMT-46-v1.0, sebuah model terjemahan mesin multibahasa yang menerapkan pasca-pelatihan bebas referensi pada model bahasa besar sumber terbuka. Tim menggunakan Group Relative Policy Optimization (GRPO) dengan imbalan berdasarkan dua model estimasi kualitas bebas referensi, yang dikendalikan oleh identifikasi bahasa.

arxiv arXiv cs.CL · 8 jam lalu

MiLMMT-46-v1.0 meningkatkan terjemahan multibahasa melalui pasca-pelatihan tanpa referensi

Para peneliti telah merilis MiLMMT-46-v1.0, sebuah model bahasa besar sumber terbuka untuk terjemahan mesin multibahasa yang memanfaatkan pasca-pelatihan tanpa referensi. Dimulai dari MiLMMT-46-v0.1 yang telah disetel halus secara terawasi, tim menerapkan Group Relative Policy Optimization (GRPO) dengan imbalan berdasarkan dua model estimasi kualitas tanpa referensi yang dikendalikan oleh identifikasi bahasa.