arxiv arXiv cs.LG · 15 jam lalu · research

Pangram Labs menemukan bahwa teks AI liar merugikan pra-pelatihan dan mengusulkan hukum penskalaan baru

Diterjemahkan dari English → Bahasa Indonesia

Sebuah studi Pangram Labs mengenai teks web yang dihasilkan AI "liar" mengungkapkan bahwa menambahkan token tersebut ke data pra-pelatihan awalnya menurunkan loss pada teks manusia tetapi dengan cepat berubah menjadi kerugian saat rasionya meningkat. Para peneliti melatih 800 model bahasa untuk menurunkan hukum penskalaan baru yang memperhitungkan dinamika ini, yang gagal diprediksi oleh hukum yang ada seperti Chinchilla.

Analisis data FineWeb menunjukkan token yang dihasilkan AI meningkat dari 27,5% pada Juni 2026 menjadi 31,1% pada Agustus.
Untuk model yang kekurangan data, penambahan token AI menurunkan loss teks manusia secara awal tetapi kemudian jenuh dan meningkatkannya.
Model yang dilatih dengan anggaran tinggi pada teks manusia melihat loss mereka hampir segera meningkat saat menambahkan token AI.
Hukum penskalaan baru memprediksi loss teks manusia yang dihold-out untuk model hingga 3,6x lebih besar dengan kesalahan 41% lebih rendah dibandingkan hukum yang ada.

Para penulis merekomendasikan pemfilteran teks AI ketika targetnya adalah teks manusia, pengulangan teks manusia sebelum memperluas dataset dengan konten yang dihasilkan AI, dan pelaporan loss validasi pada teks manusia dan AI secara terpisah.

Kepentingan 2/3 arXiv cs.LG Research paper Training data

Artikel terkait

arxiv arXiv cs.CL · 18 jam lalu · 2 tayangan

Pangram Labs menemukan bahwa teks AI liar merugikan pra-pelatihan dan mengusulkan hukum penskalaan baru

Sebuah studi Pangram Labs terhadap 800 model bahasa yang telah dilatih sebelumnya mengungkapkan bahwa teks web yang dihasilkan AI "liar", yang kini mencakup lebih dari 31% dari data web terbaru, berdampak negatif pada kinerja model ketika tujuannya adalah memproses teks manusia. Penelitian ini menunjukkan bahwa meskipun jumlah kecil token AI dapat membantu model yang kekurangan data pada awalnya, dampaknya dengan cepat berubah menjadi merugikan seiring meningkatnya proporsinya.

arxiv arXiv cs.LG · 78 hari lalu · 19 tayangan

CSFS mengurangi biaya pemilihan fitur prediksi daya angin dan surya sebesar 21%

Para peneliti mengusulkan Cluster-based Sequential Feature Selection (CSFS), metode wrapper berbasis klasterisasi baru untuk pemilihan fitur otomatis dan efisien dalam pipeline prediksi energi terbarukan. Pendekatan ini mengatasi kurangnya metode sistematis untuk memilih fitur input dari sejumlah besar variabel pemantauan dan lingkungan yang tersedia.

arxiv arXiv cs.AI · 78 hari lalu · 18 tayangan

CSFS mengurangi biaya komputasi sebesar 21% dalam prediksi energi terbarukan

Para peneliti mengusulkan Cluster-based Sequential Feature Selection (CSFS), metode wrapper baru yang tidak bergantung pada model, yang dirancang untuk mengatasi kurangnya pemilihan fitur sistematis dalam prediksi daya angin dan surya. Pendekatan ini bertujuan untuk menyediakan pemilihan fitur yang otomatis, efisien, dan andal untuk pipa energi terbarukan.

arxiv arXiv cs.AI · 78 hari lalu · 16 tayangan

FormalAnalyticGeo menghasilkan masalah geometri analitik multimoda melalui pipeline neural-symbolic

Peneliti memperkenalkan FormalAnalyticGeo, sebuah kerangka kerja yang skalabel untuk generasi otomatis penuh masalah geometri analitik multimoda yang menghilangkan kebutuhan anotasi manusia. Sistem ini memanfaatkan representasi antara formal yang disebut CDL untuk menjembatani teks masalah dengan rendering diagram yang tepat melalui mesin Signed Distance Field.

arxiv arXiv cs.CL · 80 hari lalu · 16 tayangan

Studi menemukan tren negatif kecil dalam komposisionalitas majemuk Jerman dan Inggris seiring waktu

Peneliti menyelidiki perubahan semantik dalam 23 majemuk kata benda Jerman dan 26 Inggris dengan memperkenalkan tugas Prediksi Tren Komposisionalitas (Compositionality Trend Prediction), yang dievaluasi terhadap dataset baru peringkat diachronic per dekade. Bertentangan dengan literatur yang mengemukakan kecenderungan tegas bahwa majemuk menjadi kurang komposisional, studi ini hanya menemukan tren negatif kecil seiring waktu.