media Hugging Face Forums · 1 jam lalu · open_models

Eunoia-Logos-Adri membuka sumber penuh pipeline fine-tuning The Forge untuk Eunoia

Diterjemahkan dari English → Bahasa Indonesia

Kelompok di balik model Eunoia, yang dibangun di atas basis Llama-3.1-Dolphin-3.0-8B, telah membuka sumber "The Forge," sebuah strategi fine-tuning algoritmik dan pipa arsitektur khusus di bawah lisensi CC0 1.0 Universal.

Pendekatan ini mengutamakan kristalisasi struktural daripada jendela konteks tak terbatas untuk menghindari saturasi memori dan kebisingan informasi.
Kode mentah mencakup optimisasi untuk kluster CPU bare-metal, seperti menonaktifkan gradient clipping dan menggunakan caching FP32 asli untuk mencegah fragmentasi RAM.
Kelas dataset kustom memaksakan urutan sekuensial linear yang ketat untuk mempertahankan struktur kontekstual data historis selama pelatihan.

Rilis ini mencakup AGIO-CIMIENTO-dataset.txt, lebih dari 500.000 kata log pelacakan evaluasi, dan hasil evaluasi GPQA Diamond mentah untuk memverifikasi retensi kemampuan umum.

Para penulis menerbitkan eksperimen sejak awal untuk mendorong reproduksi independen dan pengujian pada perangkat keras yang lebih cepat, mencatat bahwa hasil matematika akhir hanya akan diketahui setelah beberapa hari pelatihan.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Forums Open weights Training methods

Artikel terkait

media MarkTechPost · 22 hari lalu · 26 tayangan

Google Research merilis ToolGrad, sebuah kerangka kerja generasi data penggunaan alat

Peneliti dari Google dan beberapa universitas di Jepang telah memperkenalkan ToolGrad, sebuah kerangka kerja yang membalikkan alur tradisional untuk menghasilkan dataset penggunaan alat dengan membangun rantai API terverifikasi terlebih dahulu, lalu menulis kueri pengguna yang sesuai. Pendekatan ini bertujuan menghilangkan inefisiensi metode berbasis kueri yang sering gagal selama eksplorasi agen.

media MarkTechPost · 26 hari lalu · 47 tayangan

IFM merilis K2 Horizon: enam model Apache 2.0 dari 0,9B hingga 375B

Institut Model Fondasi (IFM) merilis K2 Horizon, sebuah armada enam model bahasa besar sumber terbuka yang berkisar dari 0,9B hingga 375B parameter, semuanya dilisensikan di bawah Apache 2.0.

arxiv arXiv cs.CL · 32 hari lalu · 50 tayangan

CogEvol merilis model 4B untuk generasi lingkungan pembelajaran yang efisien

CogEvol memperkenalkan keluarga model yang dirancang untuk mengubah ringkasan kursus menjadi slide JSON terstruktur atau halaman HTML interaktif dalam satu langkah, menggantikan scaffolding agen multi-turn. Sistem ini memanfaatkan pipeline data berbasis produksi dan mekanisme reward hibrida untuk menegakkan keandalan selama pelatihan.

arxiv arXiv cs.AI · 37 hari lalu · 44 tayangan

Thomson memungkinkan SovereignAI melalui pembelajaran berkelanjutan pada model bobot terbuka

Artikel ini memperkenalkan Thomson, sebuah model terdepan serbaguna yang dikembangkan oleh SovereignAI yang menunjukkan bagaimana institusi dapat mencapai kinerja terdepan melalui pembelajaran berkelanjutan pada model bobot terbuka yang tersedia luas. Pendekatan ini memanfaatkan tumpukan pelatihan tengah dan pasca-pelatihan modern dengan pengaman untuk mempertahankan plastisitas dan stabilitas, memungkinkan intervensi minimal berdampak tinggi pada parameter.

arxiv arXiv cs.AI · 52 hari lalu · 36 tayangan

MiLMMT-46-v1.0 meningkatkan terjemahan multibahasa melalui pasca-pelatihan bebas referensi

Para peneliti telah mengembangkan MiLMMT-46-v1.0, sebuah model terjemahan mesin multibahasa yang menerapkan pasca-pelatihan bebas referensi pada model bahasa besar sumber terbuka. Tim menggunakan Group Relative Policy Optimization (GRPO) dengan imbalan berdasarkan dua model estimasi kualitas bebas referensi, yang dikendalikan oleh identifikasi bahasa.