media r/LocalLLaMA · 2 jam lalu · open_models

Huawei membuka sumber terbuka openPangu-2.0-Pro, model MoE 505B-A18B

Diterjemahkan dari English → Bahasa Indonesia

Huawei telah merilis bobot sumber terbuka untuk openPangu-2.0-Pro, sebuah model bahasa besar (LLM) Mixture of Experts (MoE) yang dilatih pada perangkat keras Ascend. Model ini memiliki 505 miliar parameter total dengan 18 miliar parameter yang diaktifkan dan mendukung panjang konteks sebesar 512k token.

Data pra-pelatihan total terdiri dari 34T token.
Pasca-pelatihan menggunakan SFT terpadu dengan kemampuan berpikir lambat dan cepat.
Pelatihan mencakup beberapa pelatihan RL spesialis dan distilasi on-policy yang menggabungkan beberapa spesialis RL.

Detail teknis model didokumentasikan dalam Laporan Teknis openPangu-2.0.

Kepentingan 2/3 r/LocalLLaMA Open weights Training methods

Baca aslinya

CrowdTensor meluncurkan Beta pelatihan sukarelawan dan Kampanye RFC Draft Qwen2.5-7B GSM8K

CrowdTensor adalah protokol open-source Apache-2.0 untuk kampanye pelatihan model sukarelawan dengan checkpoint yang mengaitkan revisi model dan data yang tidak dapat diubah untuk memberikan pekerjaan terbatas kepada sel CPU, GPU, atau TPU yang diterima. Proyek ini telah merilis proses pendaftaran Beta bersama RFC Draft untuk kampanye Qwen2.5-7B GSM8K.

media r/LocalLLaMA · 22 hari lalu

Pengguna mendistilasi DeepSeek v4 Pro ke model Gemma 4 26B-A4B dan 12B

Seorang pengguna melakukan fine-tuning pada Gemma 4 26B-A4B dan Gemma 4 12B menggunakan QLoRA untuk membandingkan arsitektur dense versus Mixture-of-Experts selama pelatihan. Dataset dihasilkan oleh DeepSeek v4 Pro dari Natural Questions, dengan biaya $0.36 untuk 1200 permintaan.

media r/LocalLLaMA · 27 hari lalu

Pengguna memperluas Gemma4-31B menjadi 44B melalui duplikasi lapisan

Seorang pengguna Reddit telah memperluas model Google Gemma4-31B menjadi sekitar 47 miliar parameter dengan meningkatkan jumlah lapisan dari 60 menjadi 88. Proses ini melibatkan ekspansi identity-init yang mengikuti pendekatan LLaMA Pro, diikuti oleh fine-tuning pada data hukum dan STEM Korea.

media r/LocalLLaMA · 29 hari lalu · 3 tayangan

Membangun ulang Gemma 4 31b... lebih baik... Sebagai 26b...

Seorang pengembang menguraikan rencana untuk membangun ulang model Gemma 4 31B dengan mengurangi jumlah parameternya menjadi sekitar 26B sambil bertujuan untuk meningkatkan kinerja. Proyek ini melibatkan perubahan arsitektur, teknik pelatihan khusus, dan kurasi dataset untuk membuat model yang lebih kecil dan efisien.

media Hugging Face Forums · 39 hari lalu · 3 tayangan

Perbandingan debug skala kecil OLMo-core dengan graft Engram

Perbandingan pelatihan 200 langkah antara model dasar OLMo3 600M dan versi dengan graft Engram gaya DeepSeek menunjukkan loss pelatihan dan evaluasi yang lebih rendah, stabilisasi grad-norm yang lebih cepat, dan perilaku pembelajaran awal yang lebih baik. Graft Engram, disuntikkan ke lapisan 1 dan 5, meningkatkan parameter yang dapat dilatih menjadi ~1,7B tetapi hanya mempertahankan peningkatan 40k pada parameter aktif per token, menunjukkan penggunaan memori yang efisien.