media Hugging Face Forums · il y a 1 h · open_models

ThetaMem propose des relèvements multiplicatifs signés pour la mémoire de séquence à état fixe

Traduit de English → Français

ThetaMem est une étude préliminaire à graine unique d'un mélangeur récurrent qui modifie l'état récurrent par des relèvements de clé signés appris (Hadamard ou produit extérieur) plutôt que par l'affinement des mécanismes de gating. L'auteur présente des résultats mitigés sur des benchmarks synthétiques et cherche explicitement des critiques pour identifier l'expérience la moins coûteuse susceptible de falsifier l'approche.

Sur MQAR avec une extrapolation de longueur 4×, ThetaMem (produit extérieur) a obtenu un score de 0.976 en utilisant des flottants à état central 32×, tandis que GDN-2 avec une clé plus large a obtenu 0.814.
ThetaMem (Hadamard) a obtenu 0.668 sur le même benchmark comparé à 0.567 pour GDN-2.
Dans les tests de rappel flou MAD, ThetaMem a performé moins bien que GDN-2 (perte de 0.181 contre 0.323).

L'auteur note que les comparaisons à état central apparié ne sont pas appariées en paramètres et appelle à des contrôles plus équitables impliquant l'appariement de l'état, des paramètres et du calcul dans les travaux futurs.

Importance 1/3 Confiance 1/3 Hugging Face Forums Research paper Training methods

Lire l'original

Articles similaires

lab NVIDIA Research · il y a 1 j · 32 vues

Les LLM égalent ou surpassent l'optimisation bayésienne pour l'optimisation des hyperparamètres

Un nouvel article explore l'utilisation de grands modèles linguistiques fondamentaux (LLM) pour automatiser l'optimisation des hyperparamètres (HPO), un processus qui repose généralement sur des approches manuelles dans des configurations à budget limité. Les auteurs ont développé une méthodologie où les LLM suggèrent des configurations d'hyperparamètres basées sur les descriptions du jeu de données et du modèle, qui sont ensuite affinées itérativement en fonction des performances du modèle.

lab NVIDIA Research · il y a 1 j · 32 vues

Source introduit la différenciation déroulée approximative pour l'attribution des données d'entraînement

Les chercheurs présentent Source, une nouvelle méthode d'attribution des données d'entraînement (TDA) qui combine l'efficacité computationnelle des fonctions d'influence avec la précision des approches basées sur le déroulement. En utilisant une formule similaire à la fonction d'influence pour approximer la différenciation déroulée, Source adresse les limitations des méthodes de différenciation implicite, telles que leur incapacité à prendre en compte le biais d'optimisation ou les pipelines multi-étapes.

lab NVIDIA Research · il y a 1 j · 5 vues

JacNet apprend des fonctions en modélisant directement les jacobiens structurés

L'article présente JacNet, une architecture de réseau neuronal qui apprend directement le jacobien d'une fonction entrée-sortie plutôt que la mapping elle-même. Cette approche permet un contrôle précis des propriétés de la dérivée, permettant l'imposition de priors structurels tels que l'inversibilité et la continuité k-Lipschitz.

arxiv arXiv cs.CL · il y a 2 j · 1 vue

MiLMMT-46-v1.0 améliore la traduction multilingue grâce à un post-apprentissage sans référence

Les chercheurs ont publié MiLMMT-46-v1.0, un grand modèle de langage ouvert pour la traduction automatique multilingue qui utilise un post-apprentissage sans référence. À partir du MiLMMT-46-v0.1 finement ajusté par apprentissage supervisé, l'équipe a appliqué l'optimisation relative de politique de groupe (GRPO) avec une récompense basée sur deux modèles d'estimation de la qualité sans référence, contrôlés par identification de la langue.

lab NVIDIA Research · il y a 2 j · 6 vues

Masters distille les modèles vision-langage via le masquage du professeur et le renforcement de l'étudiant

Les chercheurs proposent Masters, un cadre d'apprentissage par renforcement progressif par masquage pour distiller des modèles vision-langage à grande échelle en versions compactes adaptées au déploiement en périphérie. La méthode traite l'instabilité causée par l'écart de taille entre les modèles professeur et étudiant.