media Hugging Face Forums · 1 hari lalu · open_models

Jen Wei memperbaiki masalah optimizer Muon dan Dion3 di OLMo-core

Diterjemahkan dari English → Bahasa Indonesia

Jen Wei mengalami spiral kematian learning rate saat menguji AdamW, Muon, dan implementasi terbaru Dion3 di dalam OLMo-core untuk sebuah talk Konferensi PyTorch mendatang.

Proses debugging mengungkapkan masalah yang melibatkan state optimizer terdistribusi dan penjadwalan LR.
Sebuah jebukan aliasing tensor PyTorch tertentu diidentifikasi sebagai penyebab utama ketidakstabilan.
Wei mendokumentasikan seluruh petualangan debugging tersebut di Medium untuk membantu orang lain menghindari jebukan memori serupa di optimizer terdistribusi.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Training methods

Baca aslinya

TRL v1.14 AsyncGRPOTrainer memungkinkan sinkronisasi hanya LoRA di Hugging Face Jobs

TRL v1.14 memperkenalkan dukungan LoRA ke AsyncGRPOTrainer, memungkinkannya melatih adapter Low-Rank Adaptation dan menyinkronkan hanya file kecil tersebut ke pekerja inferensi vLLM. Arsitektur ini memisahkan tugas pelatihan dan generasi pada mesin yang berbeda dengan menggunakan Storage Bucket bersama sebagai jembatan filesystem, menghilangkan kebutuhan akan NCCL atau komunikasi jaringan langsung antar node.

media Hugging Face Forums · 16 hari lalu · 18 tayangan

KV Graft Steering mentransfer konsep dengan membekukan keadaan KV

Sebuah demonstrasi menunjukkan bahwa membekukan keadaan kunci-nilai (KV) dari teks panduan memungkinkan model Qwen2.5-3B-Instruct menerapkan instruksi baru tanpa memasukkan panduan ke dalam prompt langsung. Metode ini melibatkan menjalankan panduan melalui model sekali, membekukan cache KV-nya, dan kemudian menghasilkan respons di atas awalan tersembunyi tersebut.

arxiv arXiv cs.CL · 21 hari lalu · 23 tayangan

Mengonsolidasikan lebih dari 200 aplikasi ke satu LLM yang di-host sendiri melalui GRPO multi-sumbu dan SLERP

Artikel ini menggambarkan metode untuk mengonsolidasikan lalu lintas dari lebih dari 200 aplikasi internal ke satu model bahasa besar yang di-host sendiri guna mengatasi kendala residensi data dan fragmentasi GPU. Pendekatan ini menutup kesenjangan kualitas dalam mengikuti instruksi, pemanggilan fungsi, dan distribusi tugas internal dengan melatih ahli GRPO terpisah per sumbu dan menggabungkannya melalui SLERP dua tahap.

media MarkTechPost · 25 hari lalu · 52 tayangan

Z.ai dan Alibaba secara independen menyimpulkan arsitektur perhatian linier 3:1 untuk GLM-5.3-Flash dan Qwen3.8-Flash-Next

Z.ai merilis GLM-5.3-Flash, model MoE multimodal 320B-parameter dengan 18B parameter aktif, sementara tim Alibaba Qwen merilis Qwen3.8-Flash-Next, model 125B dengan 6B parameter aktif. Meskipun dikembangkan secara independen, kedua tim mengadopsi konfigurasi arsitektur yang hampir identik.

media Hugging Face Forums · 31 hari lalu · 28 tayangan

Noah DeAngelis membangun perhatian berbasis routing eksperimental untuk model GPT

Noah DeAngelis telah mengembangkan mekanisme perhatian berbasis routing eksperimental untuk model GPT, yang diimplementasikan dalam proyek PyTorch bernama RoutingGPT. Pendekatan ini menggunakan lapisan linear yang dipelajari untuk memilih subset token sebagai kunci dan nilai sambil mempertahankan semua token sebagai kueri.