media Hugging Face Forums · 1 jam lalu · open_models

metrictrust mendeteksi ketika metrik validasi tidak dapat dipercaya selama pelatihan

Diterjemahkan dari English → Bahasa Indonesia

Penulis mengembangkan metrictrust, alat Python ringan yang memantau proses pelatihan untuk menentukan apakah metrik validasi akhir dapat dipercaya. Alat ini mengatasi masalah umum seperti menyimpan checkpoint suboptimal, melebih-lebihkan kinerja karena hafalan, dan mengandalkan hasil berfluktuasi yang bising.

Memberikan putusan dalam bahasa sederhana berupa 'dipercaya', 'waspada', atau 'tidak-dipercaya' berdasarkan dinamika pelatihan.
Mendeteksi ketika metrik terbaik terjadi di tengah pelatihan tetapi tidak disimpan sebagai checkpoint akhir.
Mengidentifikasi kasus di mana akurasi pelatihan jauh melebihi akurasi evaluasi, yang menunjukkan adanya hafalan.
Menandai proses dengan fluktuasi tinggi untuk memperingatkan agar tidak menganggap satu sampel bising sebagai pengukuran yang andal.
Bekerja dengan HuggingFace Trainer melalui TrustCheckCallback atau loop kustom apa pun melalui TrustMonitor.

Alat ini membantu pengguna menghindari kesimpulan salah dari angka log akhir dengan menyoroti ketika kinerja puncak model terlewatkan atau ketika data terlalu tidak stabil untuk bermakna.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Training methods

Artikel terkait

arxiv arXiv cs.CL · 40 hari lalu · 14 tayangan

CARE-PPO memungkinkan pembelajaran gabungan prediksi akurat dan kepercayaan yang andal dalam tugas kuantitatif berbasis bahasa

Para peneliti memperkenalkan CARE-PPO, sebuah kerangka pembelajaran penguatan yang menghubungkan prediksi kerugian untuk estimasi ketidakpastian dengan penyetelan halus PPO aktor-kritik. Pendekatan ini memungkinkan pembelajaran gabungan perkiraan numerik yang akurat dan sinyal kepercayaan yang andal dalam prediksi kuantitatif berbasis bahasa dari input tidak terstruktur.

arxiv arXiv cs.CL · 55 hari lalu · 1 tayangan

REAR: Penyesuaian Kembali Preferensi Saat Pengujian Melalui Dekomposisi Imbalan

Para penulis memperkenalkan REAR, sebuah kerangka kerja baru yang memperluas skalasi saat pengujian (TTS) ke penyesuaian preferensi dengan memodelkan tugas sebagai masalah penyesuaian kembali. Pendekatan ini mengatasi keterbatasan metode TTS yang ada, yang biasanya terbatas pada domain yang dapat diverifikasi seperti matematika dan pemrograman.

media Hugging Face Forums · 56 hari lalu · 5 tayangan

Pengalaman praktis dengan surrogate ML untuk simulasi CFD dan FEA?

Seorang profesional simulasi teknik mencari pengalaman penerapan dunia nyata dari surrogate machine learning untuk mengurangi biaya eksekusi solver Computational Fluid Dynamics (CFD) dan Finite Element Analysis (FEA) yang mahal.

media Hugging Face Forums · 21 jam lalu · 5 tayangan

Framework Epistemic Shield meminta umpan balik tentang kalibrasi epistemik adversarial untuk LLM

Penulis telah mengembangkan Epistemic Shield, sebuah framework eksperimental yang memperlakukan respons awal LLM sebagai hipotesis sementara daripada output akhir. Sistem ini menguraikan jawaban menjadi klaim atomik dan menurunkannya ke kritik diri adversarial untuk mengukur konsistensi di seluruh evaluasi stokastik.

media Hugging Face Forums · 1 hari lalu · 7 tayangan

Noah DeAngelis membangun perhatian berbasis routing eksperimental untuk model GPT

Noah DeAngelis telah mengembangkan mekanisme perhatian berbasis routing eksperimental untuk model GPT, yang diimplementasikan dalam proyek PyTorch bernama RoutingGPT. Pendekatan ini menggunakan lapisan linear yang dipelajari untuk memilih subset token sebagai kunci dan nilai sambil mempertahankan semua token sebagai kueri.