media Hugging Face Forums · 15 jam lalu · open_models

Eksperimen menunjukkan bahwa jaringan saraf adalah sistem dinamis klasik dengan keadaan

Diterjemahkan dari English → Bahasa Indonesia

Seorang peneliti melakukan eksperimen kausal pada nanoGPT, ResNet-18, dan U-Net difusi untuk menyelidiki mekanika pelatihan, pembelajaran, dan inferensi. Hasilnya menunjukkan bahwa proses-proses ini membentuk siklus kontinu di mana pembaruan menyebabkan respons nonlinier dan reorganisasi fungsional yang bertahan, yang kemudian memengaruhi keadaan berikutnya.

Menerapkan pembaruan yang sama ke keadaan penerima yang berbeda menghasilkan efek yang berbeda.
Pembelajaran meninggalkan perubahan permanen pada dukungan fungsional terdistribusi.
Inferensi beku merekrut dukungan ini, dan umpan balik mengubah keadaan untuk pembelajaran di masa depan.
Hubungan struktural ini berlaku di berbagai arsitektur, tugas, modalitas, dan pengoptimal.

Penulis mengusulkan untuk melihat jaringan saraf sebagai sistem dinamis klasik dengan keadaan, bukan sekadar fungsi input-output terparameterisasi, didukung oleh makalah terkait dan repositori GitHub.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Research paper Training methods

Baca aslinya

PLVR menggunakan backpropagasi simbolik untuk mempelajari program penalaran yang dapat diverifikasi

Peneliti memperkenalkan PLVR (Program Learning with Verifiable Rewards), sebuah metode pasca-pelatihan yang mempelajari program penalaran eksplisit yang terdiri dari primitif deterministik dan neural, alih-alih memperbarui bobot model. Pendekatan ini memanfaatkan backpropagasi simbolik, di mana penugasan kredit dilakukan melalui inferensi tipe pada tanda tangan primitif bukan estimasi.

arxiv arXiv cs.CL · 6 hari lalu · 6 tayangan

Metrik STAR dan kerangka StarPO meningkatkan penyesuaian terjemahan mesin dokumen-ke-dokumen

Peneliti memperkenalkan Sentence Translation Alignment Rate (STAR), sebuah metrik tambahan yang dirancang untuk mengukur kesetiaan struktural tingkat kalimat dalam terjemahan mesin dokumen-ke-dokumen, mengatasi masalah seperti penghilangan dan halusinasi. Mereka mengusulkan STAR-masked Preference Optimization (StarPO), sebuah kerangka kerja yang memberi peringkat hipotesis berdasarkan kualitas struktural dan menggunakan masker penyesuaian dinamis untuk memfokuskan optimasi pada segmen yang tidak sesuai.

arxiv arXiv cs.AI · 14 hari lalu · 13 tayangan

Harness Continual Learning menyesuaikan keadaan agen di luar parameter model yang dibekukan

Para penulis memperkenalkan Harness Continual Learning (HCL), sebuah paradigma di mana agen meningkat dengan mengembangkan harness-nya yang berorientasi eksekusi daripada memperbarui parameter model. Pendekatan ini mengatasi tantangan mempertahankan perilaku yang sebelumnya diperoleh sambil beradaptasi dengan pengalaman baru melalui komponen seperti prompt, memori, dan aturan perutean.

media r/LocalLLaMA · 15 hari lalu · 13 tayangan

Z.ai menskalakan pasca-pelatihan GLM-5.3 untuk meningkatkan penalaran jangka panjang

Z.ai merilis GLM-5.3, sebuah eksperimen terkontrol yang menunjukkan bahwa penskalaan pasca-pelatihan menghasilkan peningkatan signifikan dalam penalaran jangka panjang tanpa mengubah model dasar atau jumlah parameter.

media Hugging Face Forums · 20 hari lalu · 12 tayangan

ThetaMem mengusulkan pengangkatan kunci perkalian bertanda untuk memori urutan keadaan tetap

ThetaMem adalah studi awal satu-seed dari mixer rekuren yang memodifikasi keadaan rekuren melalui pengangkatan kunci Hadamard atau produk-luar bertanda yang dipelajari, bukan dengan menyempurnakan mekanisme gerbang. Penulis menyajikan hasil campuran pada benchmark sintetis dan secara eksplisit mencari kritik untuk mengidentifikasi eksperimen termurah yang dapat menyangkal pendekatan tersebut.