Авторы предлагают надзор, согласованный с наблюдениями (Observation-Aligned supervision), — фреймворк для генерации кода из графиков, который заменяет скрытые целевые значения сырых данных на величины, ограниченные визуальными наблюдениями, чтобы предотвратить галлюцинации.
- Метод переписывает обучающие данные, используя статистику коробок для диаграмм с усами (boxplots), проценты секторов для круговых диаграмм и веса бинов для гистограмм.
- Эксперименты на ChartMimic и ChartX показывают последовательные улучшения в восстановлении наблюдаемых значений для нескольких VLM.
- Результаты включают приросты по обоим исполняемым метрикам оценки.
Авторы утверждают, что улучшение моделей генерации кода из графиков требует целевых значений надзора, которые учитывают то, что можно идентифицировать по изображению графика, а не предполагают, что исходный код может быть полностью восстановлен.