media r/LocalLLaMA · há 1 h · open_models

ByteDance promete evitar destilação de IA e desenvolver novo modelo à sua maneira

Traduzido do English → Português (BR)

A ByteDance anunciou o compromisso de desenvolver seu próximo modelo de IA sem depender de técnicas de destilação de IA.

A empresa pretende seguir um caminho de desenvolvimento independente para seus futuros modelos.

Importância 2/3 r/LocalLLaMA ByteDance Training methods

Ler original

MiniMax lança modelo de geração de vídeo H3 com pesos abertos e áudio estéreo nativo

A MiniMax lançou o modelo omnimodal de geração de vídeo H3 com pesos abertos no Hugging Face, apresentando áudio estéreo nativo que pode impulsionar o vídeo em uma única passagem direta. O modelo suporta resolução 2K a 24fps para clipes de 5 a 15 segundos e aceita até nove imagens de referência, três vídeos e três clipes de áudio por geração.

arxiv arXiv cs.LG · há 3 d

U-OPSD permite auto-distilação on-policy não supervisionada para LLMs

Pesquisadores propõem Auto-Distilação On-Policy Não Supervisionada (U-OPSD), um método que alcança melhoria no pós-treinamento para grandes modelos de linguagem usando apenas as próprias gerações do modelo, sem supervisão externa. A abordagem amostra múltiplas execuções para construir uma pseudo-solução por meio de votação majoritária, em seguida, destila a distribuição do professor nos prefixos do maior completamento incorreto do modelo.

arxiv arXiv cs.CL · há 6 d · 1 visualização

Douyin lança modelo de incorporação multimodal DME com desempenho de ponta

O Douyin publicou o relatório técnico de seu modelo Multimodal Embedding (DME), que combina pré-treinamento contrastivo em larga escala com raciocínio latente para alcançar forte discriminação e eficiência.

media r/LocalLLaMA · há 6 d · 5 visualizações

AFM3 20B da Apple usa poda de seguimento de instruções para ativar ~20% das camadas

A Apple introduziu uma nova arquitetura para seus modelos fundamentais de terceira geração (AFM3) que utiliza "Poda de Seguimento de Instruções" para reduzir significativamente a contagem de parâmetros ativos. O modelo é projetado para ativar aproximadamente 20% de suas camadas MLP tomando decisões de roteamento uma vez por prompt, em vez de por token.

media MarkTechPost · há 8 d · 4 visualizações

NeMo da NVIDIA lança Molt, um framework de RL agêntico compacto e nativo PyT

A equipe NeMo da NVIDIA lançou o Molt, um framework de aprendizado por reforço agêntico de código aberto projetado para reduzir a complexidade da iteração de algoritmos para pesquisadores. A base de código possui aproximadamente 8,6K linhas de código RL, significativamente menor do que frameworks comparáveis como verl (62K linhas) e slime (25K linhas).