media r/LocalLLaMA · há 1 h · open_models

SLAI T-Rex alcança 34,22% MFU e 71,81% Pass@1 para DeepSeek-V4 no Ascend

Traduzido do English → Português (BR)

A SLAI apresenta o T-Rex, um framework de pós-treinamento com parâmetros completos para a família de modelos DeepSeek-V4 na infraestrutura Ascend SuperPOD. O sistema aborda a pressão de memória e a sobrecarga de comunicação em modelos MoE de trilhões de parâmetros por meio de otimização hierárquica.

Alcança 34,22% de Model FLOPs Utilization (MFU), uma melhoria de 2,93x em relação à linha de base de código aberto.
Estabelece um fluxo de trabalho CPT e SFT para tarefas de Pesquisa Operacional usando dados sintéticos verificados por solucionadores.
O modelo especializado DeepSeek-V4-Flash atinge uma pontuação zero-shot Pass@1 de 71,81%, superando o GPT-5.4-Mini em 3,98 pontos percentuais.

Este trabalho demonstra um caminho eficiente para o pós-treinamento de modelos de fronteira no hardware Ascend e a criação de capacidades especializadas por domínio para raciocínio complexo.

Importância 2/3 r/LocalLLaMA Research paper Training methods

Ler original

Expoente de Lyapunov como recompensa densa informada pela física: descoberta de estabilização por RL além do pêndulo de Kapitza

Os autores propõem usar o expoente característico de Lyapunov (LCE) como um sinal de recompensa densa para estabilizar um pêndulo invertido com movimento vertical. Essa abordagem permite que agentes de aprendizado por reforço descubram comportamentos complexos de estabilização além das soluções oscilatórias padrão.

arxiv arXiv cs.LG · há 7 d

Lighthouse RL introduz pontos de reinício estratégicos para dimensionamento eficiente de circuitos analógicos

Pesquisadores apresentam o Lighthouse RL, uma abordagem de aprendizado por reforço que melhora a eficiência de amostragem no dimensionamento de circuitos analógicos ao usar configurações de alto desempenho como pontos de reinício estratégicos.

arxiv arXiv cs.CL · há 7 d

Framework de meta-aprendizado permite alinhamento multilíngue de LLMs com dados mínimos de preferência

Pesquisadores propõem um framework de meta-aprendizado para Aprendizado por Reforço a partir de Feedback Humano (RLHF) e Otimização Direta de Preferência (DPO) para abordar o desafio da disponibilidade desigual de dados de preferência humana entre idiomas. Ao aproveitar os dados de preferência de outros idiomas, o método aprende uma inicialização transferível que permite uma adaptação eficaz a um idioma alvo usando muito poucas amostras.

arxiv arXiv cs.CL · há 7 d

Estudo analisa alocação ideal de computação pós-treinamento por RL entre tamanho do modelo, busca e feedback

Um estudo investiga o problema de decisão com orçamento fixo para alocar recursos de pós-treinamento por Aprendizado por Reforço (RL), examinando especificamente se deve priorizar políticas maiores, treinamento estendido, mais busca de rollouts ou feedback de recompensa mais forte.

arxiv arXiv cs.CL · há 7 d

Estudo descobre que o sucesso da destilação on-policy depende da qualidade do sinal, não da escala do professor

Um estudo sistemático da destilação on-policy (OPD) a identifica como um catalisador de exploração que orienta os alunos por meio de uma orientação densa em nível de tokens sem expandir o teto de capacidade. A pesquisa confirma que a eficácia da OPD depende inteiramente da qualidade do sinal de orientação, e não da diversidade de prompts ou do número de amostragens por problema.