Les chercheurs proposent UltraX, un cadre de raffinement par appel de fonction conçu pour pallier les limites des méthodes existantes de traitement de données à grande échelle en combinant insertion, suppression et modification pour une édition au niveau de l'instance avec granularité fine.
- Le cadre utilise une optimisation de prompt adaptative aux jeux de données pour guider un LLM expert dans la génération de textes raffinés de bout en bout de haute qualité.
- La cartographie d'alignement des lignes et le remplacement dynamique du contexte convertissent les paires de texte original et raffiné en supervision programmatique structurée.
- Le filtrage des exemples à faible confiance et l'échantillonnage contrôlé par ratio stabilisent la distribution d'entraînement et améliorent la qualité de la supervision.
- La prédiction à fenêtre glissante, l'agrégation globale des opérations et le post-traitement systématique assurent la stabilité lors de l'inférence et de l'exécution.
Les expériences montrent qu'UltraX atteint les meilleures performances moyennes sur tous les corpus tout en égalant ou dépassant les méthodes de référence avec moins de tokens d'entraînement, indiquant une efficacité des données et une fiabilité du raffinement supérieures.