Microsoft Research telah merilis Echoverse, sebuah koleksi dari dua belas lingkungan sintetis dalam yang dirancang untuk melatih agen penggunaan komputer. Inisiatif ini mencakup sepuluh dunia spesifik domain dan dua dunia berfokus pada kemampuan, semuanya dibangun untuk mempertahankan keadaan yang koheren dan kesetiaan perilaku.
Sebuah makalah baru mengeksplorasi penggunaan model bahasa besar fundamental (LLM) untuk mengotomatisasi optimisasi hiperparameter (HPO), sebuah proses yang biasanya mengandalkan pendekatan manual dalam pengaturan anggaran terbatas. Para penulis mengembangkan metodologi di mana LLM menyarankan konfigurasi hiperparameter berdasarkan deskripsi dataset dan model, yang kemudian disempurnakan secara iteratif sesuai dengan kinerja model.
Peneliti memperkenalkan Source, metode atribusi data pelatihan (TDA) baru yang menggabungkan efisiensi komputasi fungsi pengaruh dengan akurasi pendekatan berbasis unrolling. Dengan menggunakan formula mirip fungsi pengaruh untuk mengaproksimasi diferensiasi unrolled, Source mengatasi keterbatasan dalam metode diferensiasi implisit, seperti kegagalan mereka memperhitungkan bias optimisasi atau pipeline multi-tahap.
Makalah ini memperkenalkan JacNet, sebuah arsitektur jaringan saraf yang secara langsung mempelajari Jacobian dari fungsi input-output alih-alih pemetaannya sendiri. Pendekatan ini memungkinkan kontrol yang tepat atas sifat-sifat turunan, memungkinkan penerapan prior struktural seperti invertibilitas dan kontinuitas k-Lipschitz.
Artikel ini memperkenalkan tesis oleh jlorraine yang menangani tantangan menerapkan optimasi dua tingkat atau bersarang ke pengaturan pembelajaran mendalam skala besar. Sementara optimasi berbasis gradien biasanya memperbarui satu set parameter, banyak aplikasi memerlukan pembaruan subset parameter pada tujuan berbeda yang bersarang satu sama lain.
Peneliti mengusulkan Masters, sebuah kerangka pembelajaran penguatan progresif-masking untuk mendistilasi model visi-bahasa skala besar menjadi versi kompak yang cocok untuk penyebaran di tepi. Metode ini mengatasi ketidakstabilan yang disebabkan oleh kesenjangan ukuran antara model guru dan siswa.
Para peneliti memperkenalkan Zone of Proximal Policy Optimization (ZPPO), sebuah metode yang menyuntikkan pengetahuan guru ke dalam prompt daripada gradien kebijakan untuk mengatasi kerapuhan dalam distilasi pengetahuan dan pergeseran dalam pembelajaran penguatan. ZPPO membangun Binary Candidate-included Questions (BCQ) dan Negative Candidate-included Questions (NCQ) untuk pertanyaan sulit, dan memutar ulang pertanyaan tersebut melalui buffer replays hingga akurasi siswa meningkat atau pertanyaan tersebut dihapus.
Microsoft Research telah memperkenalkan EvoLib, sebuah kerangka kerja yang memungkinkan model bahasa besar belajar dari pengalaman mereka sendiri selama inferensi tanpa memerlukan label kebenaran dasar atau umpan balik eksternal. Daripada menyimpan pengalaman mentah sebagai memori statis, EvoLib mengubahnya menjadi keterampilan yang dapat digunakan kembali dan wawasan reflektif yang terus disempurnakan, dikonsolidasikan, dan diberi bobot ulang.
DharmaOCR mencapai kualitas ekstraksi dan stabilitas yang lebih tinggi daripada Mistral OCR4 dan Unlimited-OCR pada Portugis Brasil melalui pelatihan spesifik domain.
ThetaMem adalah studi awal satu-seed dari mixer rekuren yang memodifikasi keadaan rekuren melalui pengangkatan kunci Hadamard atau produk-luar bertanda yang dipelajari, bukan dengan menyempurnakan mekanisme gerbang. Penulis menyajikan hasil campuran pada benchmark sintetis dan secara eksplisit mencari kritik untuk mengidentifikasi eksperimen termurah yang dapat menyangkal pendekatan tersebut.
Dyna Robotics telah merilis Dyna-2, sebuah model aksi-dunia untuk manipulasi robot yang dilatih awal pada lebih dari satu juta jam video egosentris manusia. Perusahaan menunjukkan bahwa video manusia biasa dapat menggantikan data berlabel aksi dengan menetapkan hukum penskalaan dari 1.000 hingga 1.000.000 jam.
Para peneliti telah mengembangkan MiLMMT-46-v1.0, sebuah model terjemahan mesin multibahasa yang menerapkan pasca-pelatihan bebas referensi pada model bahasa besar sumber terbuka. Tim menggunakan Group Relative Policy Optimization (GRPO) dengan imbalan berdasarkan dua model estimasi kualitas bebas referensi, yang dikendalikan oleh identifikasi bahasa.
Para peneliti telah merilis MiLMMT-46-v1.0, sebuah model bahasa besar sumber terbuka untuk terjemahan mesin multibahasa yang memanfaatkan pasca-pelatihan tanpa referensi. Dimulai dari MiLMMT-46-v0.1 yang telah disetel halus secara terawasi, tim menerapkan Group Relative Policy Optimization (GRPO) dengan imbalan berdasarkan dua model estimasi kualitas tanpa referensi yang dikendalikan oleh identifikasi bahasa.
Multiverse Computing memperkenalkan pendekatan hemat memori untuk distilasi pengetahuan model bahasa besar dengan menggabungkan kaching logit top-K offline dan kerugian divergensi Kullback-Leibler (KL) terpotong yang digabungkan. Metode ini menghilangkan kebutuhan untuk menyimpan model guru dan siswa secara bersamaan dalam memori, secara drastis mengurangi persyaratan VRAM.
ByteDance telah mengumumkan komitmen untuk mengembangkan model AI generasi berikutnya tanpa bergantung pada teknik distilasi AI.
Para peneliti mengusulkan Distilasi Diri On-Policy Tanpa Pengawasan (U-OPSD), sebuah metode yang mencapai peningkatan pasca-pelatihan untuk model bahasa besar hanya menggunakan generasi model itu sendiri tanpa supervisi eksternal. Pendekatan ini mengambil beberapa rollouts untuk membangun solusi pseudo melalui pemungutan suara mayoritas, lalu mendistilasi distribusi guru ke dalam awalan dari penyelesaian salah terpanjang model.
Apple telah memperkenalkan arsitektur baru untuk model fondasi generasi ketiganya (AFM3) yang memanfaatkan "Pruning Mengikuti Instruksi" untuk secara signifikan mengurangi jumlah parameter aktif. Model ini dirancang untuk mengaktifkan sekitar 20% dari lapisan MLP-nya dengan membuat keputusan routing sekali per prompt, bukan per token.
Tim NeMo NVIDIA telah merilis Molt, sebuah kerangka kerja pembelajaran penguatan agentic sumber terbuka yang dirancang untuk mengurangi kompleksitas iterasi algoritma bagi para peneliti. Basis kode ini terdiri dari sekitar 8.6K baris kode RL, jauh lebih kecil dibandingkan kerangka kerja sebanding seperti verl (62K baris) dan slime (25K baris).
Penulis mengajukan hipotesis bahwa jejak agen yang menggunakan alat dan gagal, seperti pemilihan alat yang salah atau argumen yang tidak sesuai format, dapat berfungsi sebagai data penalaan halus yang berharga untuk melatih model agar menjauh dari kesalahan tersebut. Posting ini mencari umpan balik komunitas mengenai apakah pelatihan pada jejak kegagalan yang telah dikoreksi efektif atau justru merugikan.
Arsitektur PIN v2 memperkenalkan metode untuk pra-memilih ukuran jaringan saraf dan kecepatan inferensi sebelum pelatihan dengan menggunakan pengikatan bobot. Teknik ini memaksa kelompok sel untuk menyimpan nilai yang identik, memungkinkan jaringan mempertahankan lebarnya sambil secara drastis mengurangi jumlah bobot yang disimpan.