media r/LocalLLaMA · há 2 h · open_models

Huawei abre o código-fonte do openPangu-2.0-Pro, um modelo MoE de 505B-A18B

Traduzido do English → Português (BR)

A Huawei lançou os pesos de código aberto para o openPangu-2.0-Pro, um modelo de linguagem grande (LLM) Mixture of Experts (MoE) treinado em hardware Ascend. O modelo possui 505 bilhões de parâmetros totais com 18 bilhões de parâmetros ativados e suporta um comprimento de contexto de 512k tokens.

Os dados totais de pré-treinamento consistem em 34T tokens.
O pós-treinamento utiliza SFT unificado com capacidades de pensamento lento e rápido.
O treinamento inclui múltiplos treinamentos RL especializados e destilação on-policy combinando múltiplos especialistas em RL.

Os detalhes técnicos do modelo estão documentados no Relatório Técnico do openPangu-2.0.

Importância 2/3 r/LocalLLaMA Open weights Training methods

Ler original

CrowdTensor lança Beta de treinamento voluntário e RFC de Campanha Qwen2.5-7B GSM8K em rascunho

O CrowdTensor é um protocolo open-source Apache-2.0 para campanhas de treinamento de modelos por voluntários com checkpoints, que vincula revisões imutáveis de modelo e dados para fornecer a células CPU, GPU ou TPU admitidas trabalho limitado. O projeto lançou um processo de inscrição Beta junto com uma RFC em rascunho para uma campanha Qwen2.5-7B GSM8K.

media r/LocalLLaMA · há 22 d

Usuário destila DeepSeek v4 Pro nos modelos Gemma 4 26B-A4B e 12B

Um usuário ajustou finamente o Gemma 4 26B-A4B e o Gemma 4 12B usando QLoRA para comparar arquiteturas densas versus Mixture-of-Experts durante o treinamento. O conjunto de dados foi gerado pelo DeepSeek v4 Pro a partir do Natural Questions, custando $0.36 por 1200 solicitações.

media r/LocalLLaMA · há 27 d

Usuário estende Gemma4-31B para 44B via duplicação de camadas

Um usuário do Reddit expandiu o modelo Gemma4-31B do Google para aproximadamente 47 bilhões de parâmetros ao aumentar a contagem de camadas de 60 para 88. O processo envolveu expansão com inicialização de identidade seguindo a abordagem LLaMA Pro, seguida de ajuste fino em dados jurídicos e STEM coreanos.

media r/LocalLLaMA · há 29 d · 3 visualizações

Reconstruindo Gemma 4 31b... melhor... Como 26b...

Um desenvolvedor detalha um plano para reconstruir o modelo Gemma 4 31B reduzindo sua contagem de parâmetros para aproximadamente 26B, enquanto visa melhorar o desempenho. O projeto envolve mudanças arquiteturais, técnicas de treinamento específicas e curadoria de datasets para criar um modelo menor e mais eficiente.

media Hugging Face Forums · há 39 d · 3 visualizações

Comparação de depuração em pequena escala do OLMo-core com enxerto Engram

Uma comparação de treinamento de 200 passos entre um modelo base OLMo3 600M e uma versão com enxerto Engram estilo DeepSeek mostra perda de treinamento e avaliação menores, estabilização mais rápida da norma do gradiente e comportamento de aprendizado inicial melhorado. O enxerto Engram, injetado nas camadas 1 e 5, aumenta os parâmetros treináveis para ~1,7B, mas mantém apenas um aumento de 40k nos parâmetros ativos por token, indicando uso eficiente de memória.