media Hugging Face Forums · baru saja · open_models

ByteLex menggunakan peta tokeniser untuk memprediksi dan memperbaiki kesalahan model byte

Diterjemahkan dari English → Bahasa Indonesia

Peneliti ByteLex membangun ruang koordinat dari 11 kosakata tokeniser untuk memprediksi kata-kata buatan mana yang akan gagal dimodelkan oleh model bahasa tingkat byte mereka. Peta tersebut mencapai korelasi Spearman sebesar -0.98 dengan akurasi per kata terukur model, melampaui statistik yang diturunkan dari korpus.

Model ini adalah model bahasa tingkat byte 237M parameter yang dilatih pada UTF-8 mentah tanpa tokenisasi.
Ditemukan bahwa kesalahan terutama bergantung pada byte pertama, di mana prior byte bahasa Inggris merebut jawaban.
Peta tersebut digunakan untuk menghasilkan data pelatihan tertarget untuk titik lemah yang diprediksi.
Akurasi hold-out meningkat dari .53/.40 menjadi .84/.79 setelah menerapkan perbaikan.

Pendekatan ini memungkinkan pengembang mengidentifikasi dan memperbaiki mode kegagalan spesifik dalam model tanpa tokeniser menggunakan hanya analisis struktural dari tokeniser yang ada.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Training methods

Baca aslinya

metrictrust mendeteksi ketika metrik validasi tidak dapat dipercaya selama pelatihan

Penulis mengembangkan metrictrust, alat Python ringan yang memantau proses pelatihan untuk menentukan apakah metrik validasi akhir dapat dipercaya. Alat ini mengatasi masalah umum seperti menyimpan checkpoint suboptimal, melebih-lebihkan kinerja karena hafalan, dan mengandalkan hasil berfluktuasi yang bising.

arxiv arXiv cs.CL · 63 hari lalu · 13 tayangan

CARE-PPO memungkinkan pembelajaran gabungan prediksi akurat dan kepercayaan yang andal dalam tugas kuantitatif berbasis bahasa

Para peneliti memperkenalkan CARE-PPO, sebuah kerangka pembelajaran penguatan yang menghubungkan prediksi kerugian untuk estimasi ketidakpastian dengan penyetelan halus PPO aktor-kritik. Pendekatan ini memungkinkan pembelajaran gabungan perkiraan numerik yang akurat dan sinyal kepercayaan yang andal dalam prediksi kuantitatif berbasis bahasa dari input tidak terstruktur.

arxiv arXiv cs.CL · 78 hari lalu · 11 tayangan

REAR: Penyesuaian Kembali Preferensi Saat Pengujian Melalui Dekomposisi Imbalan

Para penulis memperkenalkan REAR, sebuah kerangka kerja baru yang memperluas skalasi saat pengujian (TTS) ke penyesuaian preferensi dengan memodelkan tugas sebagai masalah penyesuaian kembali. Pendekatan ini mengatasi keterbatasan metode TTS yang ada, yang biasanya terbatas pada domain yang dapat diverifikasi seperti matematika dan pemrograman.

media Hugging Face Forums · 79 hari lalu · 17 tayangan

Pengalaman praktis dengan surrogate ML untuk simulasi CFD dan FEA?

Seorang profesional simulasi teknik mencari pengalaman penerapan dunia nyata dari surrogate machine learning untuk mengurangi biaya eksekusi solver Computational Fluid Dynamics (CFD) dan Finite Element Analysis (FEA) yang mahal.

arxiv arXiv cs.LG · 9 jam lalu · 2 tayangan

OpenAI merilis Open-1B dengan pelatihan yang sepenuhnya dapat diaudit

OpenAI telah merilis Open-1B, sebuah model bahasa yang dilatih di bawah rezim di mana setiap operasi selama pelatihan dapat direproduksi secara independen pada perangkat keras komersial heterogen dengan kepastian bit demi bit. Pendekatan ini mengatasi masalah reproduktibilitas yang melekat pada model sumber terbuka dengan memberlakukan urutan tertentu pada sumber non-determinisme, seperti reduksi kernel GPU dan pengurutan batch data.