Ajustement fin d'un modèle d'encodage invariant par permutation pour la récupération de métadonnées structurées

L'article démontre que l'ordre des champs a un impact significatif sur la qualité de la récupération dans les systèmes de métadonnées structurées, car l'ajustement fin standard amène les encodeurs à dépendre de la position absolue plutôt que des étiquettes de champ. Pour remédier à cela, les auteurs proposent l'Ajustement Fin Invariant par Permutation (PI-FT), une méthode qui sérialise les enregistrements selon des ordres de champs échantillonnés aléatoirement avec un dropout pour lier le sens aux étiquettes.

• L'ajustement fin standard perd 7,4 points nDCG@10 lorsque l'ordre des champs de l'index change, tandis que PI-FT réduit cette pénalité à 0,2 point.
• L'approche utilise une modification du chargeur de données qui échantillonne de nouveaux ordres de champs et applique un dropout aléatoire des champs pendant l'entraînement.
• Un encodeur CPU ajusté finement avec 118M de paramètres atteint 0,707 nDCG@10 sur le nouveau DevDataBench, surpassant les bases zéro-shot comme text-embedding-3-large (0,556).
• Le benchmark couvre des requêtes ancrées dans 15 langues pour près de 10 000 indicateurs de statistiques de développement.

Cette méthode garantit que les données récupérables restent découvrables indépendamment des variations de schéma, ce qui est critique pour les agents IA médiant l'accès aux statistiques publiques où les journaux d'utilisation ne peuvent pas fournir de signaux d'entraînement pour les indicateurs non recherchés.