Les auteurs présentent la supervision alignée sur l'observation (Observation-Aligned supervision), un cadre pour la génération de code à partir de graphiques qui remplace les cibles de données brutes latentes par des quantités contraintes par les observations visuelles afin de prévenir les hallucinations.
- La méthode réécrit les données d'entraînement pour utiliser les statistiques des boîtes pour les diagrammes en boîte, les pourcentages des secteurs pour les graphiques circulaires et les poids des classes pour les histogrammes.
- Les expériences sur ChartMimic et ChartX montrent des améliorations cohérentes dans la récupération des valeurs observables sur plusieurs VLM.
- Les résultats incluent des gains sous les deux métriques d'évaluation exécutables.
Les auteurs soutiennent que l'amélioration des modèles de graphique vers code nécessite des cibles de supervision qui respectent ce qui est identifiable à partir de l'image du graphique plutôt que de supposer que le code de référence est entièrement récupérable.