arxiv arXiv cs.CL · agora mesmo · research

Métrica STAR e framework StarPO melhoram o alinhamento na tradução automática de documento para documento

Traduzido do English → Português (BR)

Pesquisadores introduzem Sentence Translation Alignment Rate (STAR), uma métrica auxiliar projetada para quantificar a fidelidade estrutural em nível de sentença na tradução automática de documento para documento, abordando problemas como omissões e alucinações. Eles propõem STAR-masked Preference Optimization (StarPO), um framework que classifica hipóteses por qualidade estrutural e usa uma máscara de alinhamento dinâmica para focar a otimização nos segmentos desalinhados.

STAR mede explicitamente a fidelidade estrutural para abordar violações de correspondência entre origem e destino.
StarPO utiliza uma máscara de alinhamento dinâmica para otimizar segmentos específicos desalinhados durante o treinamento.
Experimentos em domínios de notícias e literatura mostram melhorias significativas na qualidade e integridade da tradução.
Modelos compactos usando StarPO superam o desempenho de sistemas proprietários massivos como GPT-4o com eficiência superior de tokens.

O framework permite que modelos menores superem grandes sistemas proprietários enquanto mantêm uma melhor eficiência de tokens.

Importância 2/3 arXiv cs.CL Research paper Training methods

Artigos relacionados

arxiv arXiv cs.AI · há 8 d · 12 visualizações

Harness Continual Learning adapta o estado do agente fora dos parâmetros congelados do modelo

Os autores introduzem o Harness Continual Learning (HCL), um paradigma onde um agente melhora evoluindo seu harness voltado à execução em vez de atualizar os parâmetros do modelo. Esta abordagem aborda o desafio de reter o comportamento previamente adquirido enquanto se adapta a novas experiências por meio de componentes como prompts, memórias e regras de roteamento.

media r/LocalLLaMA · há 9 d · 12 visualizações

Z.ai escala o pós-treinamento do GLM-5.3 para melhorar o raciocínio de longo prazo

A Z.ai lançou o GLM-5.3, um experimento controlado que demonstra que escalar o pós-treinamento gera ganhos significativos no raciocínio de longo prazo sem alterar o modelo base ou a contagem de parâmetros.

media Hugging Face Forums · há 14 d · 11 visualizações

ThetaMem propõe elevações multiplicativas com sinal para memória de sequência de estado fixo

ThetaMem é um estudo preliminar, com semente única, de um misturador recorrente que modifica o estado recorrente por meio de elevações de chave aprendidas com Hadamard ou produto externo com sinal, em vez de refinar mecanismos de portão. O autor apresenta resultados mistos em benchmarks sintéticos e busca explicitamente críticas para identificar o experimento mais barato capaz de falsear a abordagem.

lab NVIDIA Research · há 16 d · 40 visualizações

LLMs igualam ou superam a otimização bayesiana para otimização de hiperparâmetros

Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.

lab NVIDIA Research · há 16 d · 45 visualizações

Fonte introduz diferenciação desenrolada aproximada para atribuição de dados de treinamento

Pesquisadores apresentam o Source, um novo método de atribuição de dados de treinamento (TDA) que combina a eficiência computacional das funções de influência com a precisão das abordagens baseadas em desenrolamento. Ao usar uma fórmula semelhante à função de influência para aproximar a diferenciação desenrolada, o Source aborda limitações nos métodos de diferenciação implícita, como sua falha em considerar o viés de otimização ou pipelines multiestágio.