arxiv arXiv cs.CL · à l'instant · research

La métrique STAR et le framework StarPO améliorent l'alignement de la traduction automatique document-à-document

Traduit de English → Français

Les chercheurs introduisent Sentence Translation Alignment Rate (STAR), une métrique auxiliaire conçue pour quantifier la fidélité structurelle au niveau de la phrase dans la traduction automatique document-à-document, abordant des problèmes tels que les omissions et les hallucinations. Ils proposent STAR-masked Preference Optimization (StarPO), un framework qui classe les hypothèses par qualité structurelle et utilise un masque d'alignement dynamique pour concentrer l'optimisation sur les segments désalignés.

STAR mesure explicitement la fidélité structurelle pour traiter les violations de correspondance source-cible.
StarPO utilise un masque d'alignement dynamique pour optimiser des segments spécifiques désalignés pendant l'entraînement.
Les expériences dans les domaines des actualités et de la littérature montrent des améliorations significatives de la qualité et de l'intégrité de la traduction.
Les modèles compacts utilisant StarPO surpassent les performances de systèmes propriétaires massifs comme GPT-4o avec une efficacité token supérieure.

Le framework permet aux modèles plus petits de surpasser les grands systèmes propriétaires tout en maintenant une meilleure efficacité token.

Importance 2/3 arXiv cs.CL Research paper Training methods

Lire l'original

Articles similaires

arxiv arXiv cs.AI · il y a 8 j · 12 vues

Harness Continual Learning adapte l'état de l'agent en dehors des paramètres figés du modèle

Les auteurs présentent Harness Continual Learning (HCL), un paradigme où un agent s'améliore en faisant évoluer son harness orienté exécution plutôt qu'en mettant à jour les paramètres du modèle. Cette approche répond au défi de conserver le comportement acquis précédemment tout en s'adaptant à de nouvelles expériences via des composants tels que les prompts, les mémoires et les règles de routage.

media r/LocalLLaMA · il y a 9 j · 12 vues

Z.ai étend le post-entraînement de GLM-5.3 pour améliorer le raisonnement à long terme

Z.ai a publié GLM-5.3, une expérience contrôlée démontrant que l'extension du post-entraînement apporte des gains significatifs dans le raisonnement à long terme sans modifier le modèle de base ni le nombre de paramètres.

media Hugging Face Forums · il y a 14 j · 11 vues

ThetaMem propose des relèvements multiplicatifs signés pour la mémoire de séquence à état fixe

ThetaMem est une étude préliminaire à graine unique d'un mélangeur récurrent qui modifie l'état récurrent par des relèvements de clé signés appris (Hadamard ou produit extérieur) plutôt que par l'affinement des mécanismes de gating. L'auteur présente des résultats mitigés sur des benchmarks synthétiques et cherche explicitement des critiques pour identifier l'expérience la moins coûteuse susceptible de falsifier l'approche.

lab NVIDIA Research · il y a 16 j · 40 vues

Les LLM égalent ou surpassent l'optimisation bayésienne pour l'optimisation des hyperparamètres

Un nouvel article explore l'utilisation de grands modèles linguistiques fondamentaux (LLM) pour automatiser l'optimisation des hyperparamètres (HPO), un processus qui repose généralement sur des approches manuelles dans des configurations à budget limité. Les auteurs ont développé une méthodologie où les LLM suggèrent des configurations d'hyperparamètres basées sur les descriptions du jeu de données et du modèle, qui sont ensuite affinées itérativement en fonction des performances du modèle.

lab NVIDIA Research · il y a 16 j · 45 vues

Source introduit la différenciation déroulée approximative pour l'attribution des données d'entraînement

Les chercheurs présentent Source, une nouvelle méthode d'attribution des données d'entraînement (TDA) qui combine l'efficacité computationnelle des fonctions d'influence avec la précision des approches basées sur le déroulement. En utilisant une formule similaire à la fonction d'influence pour approximer la différenciation déroulée, Source adresse les limitations des méthodes de différenciation implicite, telles que leur incapacité à prendre en compte le biais d'optimisation ou les pipelines multi-étapes.