Peneliti memperkenalkan Model Bahasa Konteks (CLM), sebuah arsitektur baru yang memperlakukan jendela konteks model sebagai file yang dapat diedit, memungkinkan model melakukan pembaruan tanpa batas pada memorinya sendiri. Pendekatan ini menggeser manajemen konteks dari kendali harness eksternal ke perilaku model intrinsik, memungkinkan pembelajaran strategi manajemen konteks baik dalam-konteks maupun parametrik.
Peneliti menyelidiki Retrospection-Only Fine-Tuning (ROFT), sebuah prosedur online minimal di mana agen menghasilkan penjelasan retrospektif dari pengalamannya sendiri dan dilakukan fine-tuning menggunakan hanya kerugian prediksi token berikutnya pada token penjelasan tersebut. Metode ini tidak memerlukan guru eksternal atau pembaruan kebijakan berbasis imbalan.
Seorang peneliti yang membagikan karya eksploratorisnya tentang distilasi pengetahuan berbasis logit meminta komunitas untuk berbagi pengalaman industri dunia nyata dan wawasan rekayasa.
VHD-Play adalah sebuah pipeline yang menghasilkan beragam lingkungan pembelajaran penguatan (reinforcement learning) agentic dengan cara melakukan sampling dan pemecahan model matematika sebelum merender proses pengambilan keputusan mereka sebagai alat berstatus (stateful). Pendekatan ini memastikan bahwa dinamika yang dapat dieksekusi dan referensi skor lintasan diwarisi langsung dari model yang telah terpecahkan, sehingga mengatasi masalah ketidakselarasan yang umum terjadi pada pipeline generasi yang ada.
Para peneliti memperkenalkan SkillGym, sebuah kerangka kerja yang mengubah keterampilan agen yang ditulis oleh manusia menjadi lingkungan pelatihan yang dapat dieksekusi dan diverifikasi untuk agen model bahasa besar. Sistem ini memanfaatkan pipeline skill-to-task untuk menginisialisasi tugas konkret dan memverifikasi hasil dengan checker berbasis kode.
Together AI telah merilis panduan dan repositori open-source untuk melakukan fine-tuning model klasifikasi yang mirip dengan Jev, menggunakan model dasar Qwen3.5 4B.
MuJoCo Warp (MJWarp), dibangun di atas NVIDIA Warp, memungkinkan model MuJoCo yang kompatibel berjalan pada skala GPU, sehingga memungkinkan pengembangan ratusan atau ribuan dunia simulasi independen dalam satu panggilan. Arsitektur ini menggeser fokus dari meminimalkan latensi untuk satu lingkungan ke meningkatkan throughput agregat, yang menguntungkan pembelajaran penguatan dan pengambilan sampel skala besar.
SplitMoE adalah arsitektur Mixture of Experts alternatif yang memecah lapisan feed-forward lebar menjadi sub-komponen yang lebih kecil dan terspesialisasi untuk meningkatkan fleksibilitas representasi token dan modularitas komputasi.
Generator State Dunia (WSG) adalah model yang menjaga rencana agen bahasa tetap selaras dengan aturan lingkungan eksekusinya dengan menulis ulang keadaan setelah kegagalan. Model ini dilatih pada 226K lintasan yang diekstrak dari tujuh domain sintetis di mana sebuah program menerapkan aturan dan memverifikasi ketercapaian tujuan.
Para penulis memperkenalkan Fathom-Vaidya, model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menerapkan RL yang dipandu aturan pada pertanyaan yang berasal dari MedBullets untuk diagnosis, kemudian memanfaatkan 5.3k skenario multi-giliran sintetis dengan rubrik multidimensi untuk tugas klinis interaktif.
Jen Wei mengalami spiral kematian learning rate saat menguji AdamW, Muon, dan implementasi terbaru Dion3 di dalam OLMo-core untuk sebuah talk Konferensi PyTorch mendatang.
Para penulis memperkenalkan Fathom-Vaidya, sebuah model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menargetkan akurasi diagnostik menggunakan pertanyaan yang berasal dari MedBullets dan kemudian menangani interaksi klinis multi-giliran melalui 5,3k skenario yang dihasilkan dengan rubrik multidimensi.
Para penulis memperkenalkan Fathom-Vaidya, sebuah model dengan 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan.
TypeSafe AI telah meluncurkan Jev, kelas baru model "System One" yang dirancang untuk lingkungan produksi. CEO perusahaan dan co-penulis paper InstructGPT, Diogo Almeida, berpendapat bahwa model frontier saat ini lebih memprioritaskan alignment dan penolakan daripada keandalan, menyebabkan masalah seperti halusinasi dan sycophancy.
MB-Bidram telah merilis arsitektur neural eksperimental bernama WideNDepth (WND) yang dirancang untuk memisahkan kemampuan penalaran dari penyimpanan pengetahuan. Model ini terdiri dari "bagian lebar" yang berfungsi sebagai memori dan "bagian dalam" yang bertindak sebagai penalar.
Sebuah proposal di Hugging Face membahas dua masalah yang saling terkait dalam AI: ketergantungan pada pelatihan model besar terpisah dan ketergantungan ekosistem pada GPU tujuan umum.
Seorang pengguna di forum Hugging Face mengusulkan eksperimen dalam transfer pengetahuan progresif, di mana model siswa berukuran tetap (Qwen 4B) belajar secara berurutan dari model guru yang semakin besar, bukan langsung dari yang terbesar yang tersedia.
OpenAI telah memperkenalkan kerangka kerja baru untuk melacak, menyelidiki, dan mengungkapkan ketidakselarasan dalam modelnya, disertai enam laporan insiden terperinci dari pelatihan pembelajaran penguatan. Sistem ini menetapkan kriteria dan tenggat waktu spesifik untuk pengungkapan publik, berlaku bahkan ketika perilaku tersebut belum sepenuhnya dijelaskan atau dimitigasi.
Peneliti ByteLex membangun ruang koordinat dari 11 kosakata tokeniser untuk memprediksi kata-kata buatan mana yang akan gagal dimodelkan oleh model bahasa tingkat byte mereka. Peta tersebut mencapai korelasi Spearman sebesar -0.98 dengan akurasi per kata terukur model, melampaui statistik yang diturunkan dari korpus.
OpenAI telah merilis Open-1B, sebuah model bahasa yang dilatih di bawah rezim di mana setiap operasi selama pelatihan dapat direproduksi secara independen pada perangkat keras komersial heterogen dengan kepastian bit demi bit. Pendekatan ini mengatasi masalah reproduktibilitas yang melekat pada model sumber terbuka dengan memberlakukan urutan tertentu pada sumber non-determinisme, seperti reduksi kernel GPU dan pengurutan batch data.