media Hugging Face Forums · há 15 h · open_models

Experimentos sugerem que redes neurais são sistemas dinâmicos clássicos com estado

Traduzido do English → Português (BR)

Um pesquisador conduziu experimentos causais no nanoGPT, ResNet-18 e uma U-Net de difusão para investigar a mecânica do treinamento, aprendizado e inferência. Os resultados indicam que esses processos formam um ciclo contínuo onde atualizações causam respostas não lineares e reorganização funcional persistente, que então influenciam os estados subsequentes.

Aplicar a mesma atualização a diferentes estados receptores produz efeitos distintos.
O aprendizado deixa mudanças persistentes no suporte funcional distribuído.
A inferência congelada recruta esse suporte, e o feedback altera o estado para o aprendizado futuro.
Essa relação estrutural se mantém em diferentes arquiteturas, tarefas, modalidades e otimizadores.

O autor propõe ver redes neurais como sistemas dinâmicos clássicos com estado, em vez de simples funções parametrizadas de entrada-saída, apoiado por um artigo vinculado e um repositório no GitHub.

Importância 1/3 Confiança 1/3 Hugging Face Forums Research paper Training methods

Ler original

PLVR usa retropropagação simbólica para aprender programas de raciocínio verificáveis

Pesquisadores apresentam o PLVR (Program Learning with Verifiable Rewards), um método pós-treinamento que aprende programas de raciocínio explícitos compostos por primitivas determinísticas e neurais, em vez de atualizar os pesos do modelo. A abordagem utiliza retropropagação simbólica, onde a atribuição de crédito é realizada via inferência de tipos sobre as assinaturas das primitivas em vez de estimativa.

arxiv arXiv cs.CL · há 6 d · 6 visualizações

Métrica STAR e framework StarPO melhoram o alinhamento na tradução automática de documento para documento

Pesquisadores introduzem Sentence Translation Alignment Rate (STAR), uma métrica auxiliar projetada para quantificar a fidelidade estrutural em nível de sentença na tradução automática de documento para documento, abordando problemas como omissões e alucinações. Eles propõem STAR-masked Preference Optimization (StarPO), um framework que classifica hipóteses por qualidade estrutural e usa uma máscara de alinhamento dinâmica para focar a otimização nos segmentos desalinhados.

arxiv arXiv cs.AI · há 14 d · 13 visualizações

Harness Continual Learning adapta o estado do agente fora dos parâmetros congelados do modelo

Os autores introduzem o Harness Continual Learning (HCL), um paradigma onde um agente melhora evoluindo seu harness voltado à execução em vez de atualizar os parâmetros do modelo. Esta abordagem aborda o desafio de reter o comportamento previamente adquirido enquanto se adapta a novas experiências por meio de componentes como prompts, memórias e regras de roteamento.

media r/LocalLLaMA · há 15 d · 13 visualizações

Z.ai escala o pós-treinamento do GLM-5.3 para melhorar o raciocínio de longo prazo

A Z.ai lançou o GLM-5.3, um experimento controlado que demonstra que escalar o pós-treinamento gera ganhos significativos no raciocínio de longo prazo sem alterar o modelo base ou a contagem de parâmetros.

media Hugging Face Forums · há 20 d · 12 visualizações

ThetaMem propõe elevações multiplicativas com sinal para memória de sequência de estado fixo

ThetaMem é um estudo preliminar, com semente única, de um misturador recorrente que modifica o estado recorrente por meio de elevações de chave aprendidas com Hadamard ou produto externo com sinal, em vez de refinar mecanismos de portão. O autor apresenta resultados mistos em benchmarks sintéticos e busca explicitamente críticas para identificar o experimento mais barato capaz de falsear a abordagem.