media Hugging Face Forums · 3 hari lalu · open_models

Proposal untuk pertumbuhan model progresif dan profil perangkat keras terbuka untuk Transformers

Diterjemahkan dari English → Bahasa Indonesia

Sebuah proposal di Hugging Face membahas dua masalah yang saling terkait dalam AI: ketergantungan pada pelatihan model besar terpisah dan ketergantungan ekosistem pada GPU tujuan umum.

Penulis mengusulkan "pertumbuhan model progresif", di mana model secara struktural berkembang (misalnya, dari 4B menjadi 8B) sambil mempertahankan representasi yang dipelajari, alih-alih memulai dari awal untuk setiap ukuran.
Pendekatan ini melengkapi transfer pengetahuan ukuran tetap, memungkinkan model menyerap lebih banyak kemampuan sebelum ekspansi struktural diperlukan.
Untuk mengatasi keterbatasan perangkat keras, penulis mengusulkan "Profil Perangkat Keras AI" untuk Transformers, mendefinisikan serangkaian operasi umum yang stabil (seperti GEMM dan perhatian) untuk vendor ASIC khusus.
Proposal tersebut berargumen bahwa rilis model harus membandingkan metrik efisiensi seperti token per joule dan persyaratan memori alongside jumlah parameter.

Penulis percaya bahwa perubahan ini dapat membantu pengguna AI lokal mengatasi batas VRAM dan memberikan produsen perangkat keras target optimasi yang jelas.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Hardware & chips Training methods

Artikel terkait

arxiv arXiv cs.AI · 62 hari lalu · 29 tayangan

SLAI T-Rex memungkinkan pelatihan pasca-pelatihan parameter penuh DeepSeek-V4 di Ascend SuperPOD

SLAI memperkenalkan T-Rex, sebuah kerangka kerja optimasi end-to-end untuk pelatihan pasca-pelatihan parameter penuh model MoE berskala triliun parameter di Ascend NPU SuperPOD. Menggunakan keluarga model DeepSeek-V4 sebagai beban kerja target, sistem ini mengatasi tekanan memori dan overhead komunikasi melalui paralelisme hierarkis dan optimasi eksekusi kernel.

arxiv arXiv cs.CL · 62 hari lalu · 23 tayangan

SLAI T-Rex memungkinkan pelatihan pasca-pelatihan penuh parameter DeepSeek-V4 di Ascend SuperPOD

SLAI memperkenalkan T-Rex, sebuah kerangka kerja optimasi end-to-end untuk pelatihan pasca-pelatihan penuh parameter model MoE berskala triliun parameter di Ascend NPU SuperPOD. Menggunakan keluarga model DeepSeek-V4 sebagai beban kerja target, sistem ini mengatasi tekanan memori dan overhead komunikasi melalui paralelisme hierarkis dan optimasi eksekusi kernel.

media r/LocalLLaMA · 69 hari lalu · 9 tayangan

Pluralis Research menjalankan RL post-training pada 14 Mac konsumen

Pluralis Research berhasil menjalankan run RL post-training pertama di mana seluruh fleet rollout beroperasi pada Mac konsumen yang terhubung melalui internet terbuka. Setup ini memanfaatkan 14 Mac di empat negara untuk inferensi int8 dengan MLX, sementara satu B200 menangani pembaruan gradien bf16.

lab NVIDIA Technical Blog · 76 hari lalu · 22 tayangan

Panduan NVIDIA untuk komunikasi yang diinisiasi GPU pada dinamika molekuler

Artikel ini memperkenalkan panduan praktis yang berfokus pada teknik komunikasi yang diinisiasi GPU untuk simulasi dinamika molekuler skala besar.

lab NVIDIA Technical Blog · 78 hari lalu · 21 tayangan

NVIDIA mengusulkan paralelisme tensor non-uniform untuk meningkatkan goodput dalam pelatihan LLM skala besar

NVIDIA telah mengusulkan metode yang menggunakan paralelisme tensor non-uniform untuk mengatasi tantangan infrastruktur dalam pelatihan LLM skala masif. Pendekatan ini bertujuan untuk mengurangi perlambatan yang disebabkan oleh gangguan yang tidak terjadwal dan fluktuasi sumber daya yang terjadi ketika pekerjaan melintasi ribuan GPU selama periode yang lama.