arxiv arXiv cs.AI · há 15 h · fonte: há 3 d · research

PLVR usa retropropagação simbólica para aprender programas de raciocínio verificáveis

Traduzido do English → Português (BR)

Pesquisadores apresentam o PLVR (Program Learning with Verifiable Rewards), um método pós-treinamento que aprende programas de raciocínio explícitos compostos por primitivas determinísticas e neurais, em vez de atualizar os pesos do modelo. A abordagem utiliza retropropagação simbólica, onde a atribuição de crédito é realizada via inferência de tipos sobre as assinaturas das primitivas em vez de estimativa.

No LiveCodeBench v6 e Tau2Bench, modelos base de 30B com PLVR superam o aprendizado por reforço em média em 27.8 pontos com orçamento equivalente.
O método também supera modelos de fronteira uma ordem de magnitude maiores em 13.6 pontos.
Uma única biblioteca de primitivas serve para ambos os benchmarks, exigindo apenas 100 exemplos para novas tarefas sem dados adicionais de ajuste fino.
Experimentos identificam o passo reverso como a fonte da vantagem sobre a amostragem uniforme.

Os autores lançam uma biblioteca de retropropagação simbólica e um verificador de conformidade para permitir a aplicação a outras bibliotecas de primitivas.

Importância 2/3 arXiv cs.AI Research paper Training methods

Benchmarks

Benchmark	Modelo	Pontuação
LiveCodeBench	30B base models with PLVR	27.8%
τ²-bench	30B base models with PLVR	27.8%

Artigos relacionados

arxiv arXiv cs.CL · há 4 d · 6 visualizações

Métrica STAR e framework StarPO melhoram o alinhamento na tradução automática de documento para documento

Pesquisadores introduzem Sentence Translation Alignment Rate (STAR), uma métrica auxiliar projetada para quantificar a fidelidade estrutural em nível de sentença na tradução automática de documento para documento, abordando problemas como omissões e alucinações. Eles propõem STAR-masked Preference Optimization (StarPO), um framework que classifica hipóteses por qualidade estrutural e usa uma máscara de alinhamento dinâmica para focar a otimização nos segmentos desalinhados.

arxiv arXiv cs.AI · há 12 d · 12 visualizações

Harness Continual Learning adapta o estado do agente fora dos parâmetros congelados do modelo

Os autores introduzem o Harness Continual Learning (HCL), um paradigma onde um agente melhora evoluindo seu harness voltado à execução em vez de atualizar os parâmetros do modelo. Esta abordagem aborda o desafio de reter o comportamento previamente adquirido enquanto se adapta a novas experiências por meio de componentes como prompts, memórias e regras de roteamento.

media r/LocalLLaMA · há 12 d · 13 visualizações

Z.ai escala o pós-treinamento do GLM-5.3 para melhorar o raciocínio de longo prazo

A Z.ai lançou o GLM-5.3, um experimento controlado que demonstra que escalar o pós-treinamento gera ganhos significativos no raciocínio de longo prazo sem alterar o modelo base ou a contagem de parâmetros.

media Hugging Face Forums · há 18 d · 12 visualizações

ThetaMem propõe elevações multiplicativas com sinal para memória de sequência de estado fixo

ThetaMem é um estudo preliminar, com semente única, de um misturador recorrente que modifica o estado recorrente por meio de elevações de chave aprendidas com Hadamard ou produto externo com sinal, em vez de refinar mecanismos de portão. O autor apresenta resultados mistos em benchmarks sintéticos e busca explicitamente críticas para identificar o experimento mais barato capaz de falsear a abordagem.

lab NVIDIA Research · há 19 d · 41 visualizações

LLMs igualam ou superam a otimização bayesiana para otimização de hiperparâmetros

Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.