SplitMoE adalah arsitektur Mixture of Experts alternatif yang memecah lapisan feed-forward lebar menjadi sub-komponen yang lebih kecil dan terspesialisasi untuk meningkatkan fleksibilitas representasi token dan modularitas komputasi.
Generator State Dunia (WSG) adalah model yang menjaga rencana agen bahasa tetap selaras dengan aturan lingkungan eksekusinya dengan menulis ulang keadaan setelah kegagalan. Model ini dilatih pada 226K lintasan yang diekstrak dari tujuh domain sintetis di mana sebuah program menerapkan aturan dan memverifikasi ketercapaian tujuan.
Para penulis memperkenalkan Fathom-Vaidya, model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menerapkan RL yang dipandu aturan pada pertanyaan yang berasal dari MedBullets untuk diagnosis, kemudian memanfaatkan 5.3k skenario multi-giliran sintetis dengan rubrik multidimensi untuk tugas klinis interaktif.
Jen Wei mengalami spiral kematian learning rate saat menguji AdamW, Muon, dan implementasi terbaru Dion3 di dalam OLMo-core untuk sebuah talk Konferensi PyTorch mendatang.
Para penulis memperkenalkan Fathom-Vaidya, sebuah model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menargetkan akurasi diagnostik menggunakan pertanyaan yang berasal dari MedBullets dan kemudian menangani interaksi klinis multi-giliran melalui 5,3k skenario yang dihasilkan dengan rubrik multidimensi.
Para penulis memperkenalkan Fathom-Vaidya, sebuah model dengan 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan.
TypeSafe AI telah meluncurkan Jev, kelas baru model "System One" yang dirancang untuk lingkungan produksi. CEO perusahaan dan co-penulis paper InstructGPT, Diogo Almeida, berpendapat bahwa model frontier saat ini lebih memprioritaskan alignment dan penolakan daripada keandalan, menyebabkan masalah seperti halusinasi dan sycophancy.
MB-Bidram telah merilis arsitektur neural eksperimental bernama WideNDepth (WND) yang dirancang untuk memisahkan kemampuan penalaran dari penyimpanan pengetahuan. Model ini terdiri dari "bagian lebar" yang berfungsi sebagai memori dan "bagian dalam" yang bertindak sebagai penalar.
Sebuah proposal di Hugging Face membahas dua masalah yang saling terkait dalam AI: ketergantungan pada pelatihan model besar terpisah dan ketergantungan ekosistem pada GPU tujuan umum.
Seorang pengguna di forum Hugging Face mengusulkan eksperimen dalam transfer pengetahuan progresif, di mana model siswa berukuran tetap (Qwen 4B) belajar secara berurutan dari model guru yang semakin besar, bukan langsung dari yang terbesar yang tersedia.
OpenAI telah memperkenalkan kerangka kerja baru untuk melacak, menyelidiki, dan mengungkapkan ketidakselarasan dalam modelnya, disertai enam laporan insiden terperinci dari pelatihan pembelajaran penguatan. Sistem ini menetapkan kriteria dan tenggat waktu spesifik untuk pengungkapan publik, berlaku bahkan ketika perilaku tersebut belum sepenuhnya dijelaskan atau dimitigasi.
Peneliti ByteLex membangun ruang koordinat dari 11 kosakata tokeniser untuk memprediksi kata-kata buatan mana yang akan gagal dimodelkan oleh model bahasa tingkat byte mereka. Peta tersebut mencapai korelasi Spearman sebesar -0.98 dengan akurasi per kata terukur model, melampaui statistik yang diturunkan dari korpus.
OpenAI telah merilis Open-1B, sebuah model bahasa yang dilatih di bawah rezim di mana setiap operasi selama pelatihan dapat direproduksi secara independen pada perangkat keras komersial heterogen dengan kepastian bit demi bit. Pendekatan ini mengatasi masalah reproduktibilitas yang melekat pada model sumber terbuka dengan memberlakukan urutan tertentu pada sumber non-determinisme, seperti reduksi kernel GPU dan pengurutan batch data.
TRL v1.14 memperkenalkan dukungan LoRA ke AsyncGRPOTrainer, memungkinkannya melatih adapter Low-Rank Adaptation dan menyinkronkan hanya file kecil tersebut ke pekerja inferensi vLLM. Arsitektur ini memisahkan tugas pelatihan dan generasi pada mesin yang berbeda dengan menggunakan Storage Bucket bersama sebagai jembatan filesystem, menghilangkan kebutuhan akan NCCL atau komunikasi jaringan langsung antar node.
Pengguna pop123-ux telah menerbitkan repositori pembelajaran yang berisi 38 notebook yang dapat dijalankan yang dirancang untuk membantu pengguna memahami tumpukan Hugging Face dengan secara bertahap menghapus abstraksi tingkat tinggi. Koleksi ini mencakup jalur dari komponen inti seperti transformers dan tokenizers hingga fine-tuning, PEFT, reasoning/RL, dan pekerjaan proyek end-to-end.
Together AI telah memperluas layanan penyesuaian halusnya untuk mendukung lebih banyak model bobot terbuka, termasuk GLM-5.3 dan Kimi K2.7, sambil memperkenalkan pelacakan eksperimen langsung dan kontrol yang lebih halus atas proses pelatihan.
Peneliti dari Google dan beberapa universitas di Jepang telah memperkenalkan ToolGrad, sebuah kerangka kerja yang membalikkan alur tradisional untuk menghasilkan dataset penggunaan alat dengan membangun rantai API terverifikasi terlebih dahulu, lalu menulis kueri pengguna yang sesuai. Pendekatan ini bertujuan menghilangkan inefisiensi metode berbasis kueri yang sering gagal selama eksplorasi agen.
Para peneliti memperkenalkan ExecCritic, sebuah kerangka kerja yang menggabungkan skafolding uji-verifikasi-revisi dengan pembelajaran penguatan berbasis peran untuk meningkatkan agen pemrograman. Sistem ini memisahkan konstruksi tes dari perbaikan kode sumber, menggunakan Agen Uji untuk menghasilkan tes asli repositori dan Agen Perbaikan untuk merevisi kode berdasarkan umpan balik eksekusi.
memaudit adalah alat yang terintegrasi dengan pustaka TRL untuk memverifikasi apakah penyetelan model pada data pribadi telah menyebabkan hafalan. Alat ini bekerja dengan menyuntikkan rahasia umpan yang dikalibrasi ke dalam dataset dan memantau kehilangan (loss) selama proses pelatihan.
Sebuah demonstrasi menunjukkan bahwa membekukan keadaan kunci-nilai (KV) dari teks panduan memungkinkan model Qwen2.5-3B-Instruct menerapkan instruksi baru tanpa memasukkan panduan ke dalam prompt langsung. Metode ini melibatkan menjalankan panduan melalui model sekali, membekukan cache KV-nya, dan kemudian menghasilkan respons di atas awalan tersembunyi tersebut.