arxiv arXiv cs.LG · 2 jam lalu · research

SkewAdam menggunakan keadaan pengoptimum bertingkat untuk mengurangi memori pelatihan MoE sebesar 97%

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan SkewAdam, sebuah pengoptimum yang dirancang untuk model campuran-ahli (MoE) yang mengalokasikan jenis keadaan berbeda ke populasi parameter yang berbeda guna secara drastis mengurangi penggunaan memori. Dengan menetapkan momentum float32 dan momen kedua terfaktor pada tulang punggung, momen kedua terfaktor pada ahli, dan momen kedua tepat pada perute, SkewAdam mengurangi keadaan pengoptimum dari 50,6 GB menjadi 1,29 GB untuk model dengan 6,78B parameter.

Memori pelatihan puncak turun dari 81,4 GB menjadi 31,3 GB, muat dalam anggaran akselerator 40 GB.
SkewAdam mencapai kerumitan validasi sebesar 108,4 atas 82M token, mengungguli AdamW (126,8), Muon (120,2), dan Lion (393,7).
Penghematan memori dicapai tanpa kehilangan akurasi; peningkatan kinerja berasal dari mempertahankan momentum daripada alokasi bertingkat itu sendiri.

Hasilnya menunjukkan bahwa tempat keadaan pengoptimum dialokasikan sama pentingnya dengan volumenya, memungkinkan pelatihan efisien pada perangkat keras dengan memori terbatas.

Kepentingan 2/3 arXiv cs.LG Inference efficiency Training methods

Artikel terkait

media Hugging Face Forums · 6 hari lalu

Ablasi OLMo-core menunjukkan bahwa pengindeksan Engram memperbaiki kesenjangan arsitektur yang sempit

Sebuah studi ablasi di OLMo-core membandingkan integrasi Engram ke dalam Transformer standar versus backbone hibrida 3 lapisan GDN + 1 lapisan perhatian. Analisis mengungkapkan bahwa memperbaiki kegagalan overflow bertanda dan pengindeksan ID token yang dipadatkan secara substansial mengurangi kesenjangan kinerja antara kedua arsitektur.

media r/LocalLLaMA · 9 hari lalu · 1 tayangan

Flint memampatkan jejak penalaran untuk mengurangi penggunaan token sambil mempertahankan akurasi

Sebuah studi menunjukkan bahwa kompresi aware-seksi dari jejak penalaran self-distilled memungkinkan model Qwen3.5-4B dan Gemma-4-12b mencocokkan atau melampaui kinerja asli dengan menggunakan token yang jauh lebih sedikit. Dengan mempertahankan rentang komputasi dan verifikasi sambil memampatkan narasi, metode ini menghindari kegagalan decoding serakah yang terkait dengan kompresi datar.

media r/LocalLLaMA · 9 hari lalu · 1 tayangan

Flash-MSA mempercepat pelatihan jutaan token dengan kernel perhatian jarang

Flash-MSA adalah metode yang dirancang untuk mempercepat pelatihan model pada urutan yang berisi jutaan token dengan memanfaatkan kernel perhatian jarang.

lab NVIDIA Technical Blog · 11 hari lalu

NVIDIA menjelaskan offloading host untuk mengurangi hambatan HBM dalam pelatihan LLM JAX

Beban kerja pelatihan model bahasa besar (LLM) semakin sering mencapai batas memori GPU sebelum komputasi sepenuhnya dimanfaatkan. Bobot model, gradien, keadaan pengoptimal, buffer komunikasi, dan aktivasi perantara semuanya bersaing untuk memori bandwidth tinggi (HBM) GPU yang terbatas. Seiring bertambahnya ukuran model, panjang urutan, dan ukuran batch, kapasitas HBM sering menjadi hambatan skalabilitas utama.

arxiv arXiv cs.AI · 12 hari lalu

SLORR memperkenalkan regularisasi rank-rendah sederhana dan stateless selama pelatihan

Peneliti memperkenalkan SLORR, sebuah kerangka kerja untuk regularisasi rank-rendah selama pelatihan yang bersifat stateless dan melestarikan arsitektur. Ini menggunakan aproksimasi yang ramah GPU untuk menregularisasi matriks bobot tanpa memodifikasi model atau bergantung pada kuantitas yang di-cache.