Зміст
Коротко
Chartographer будує контрфактуальні графіки: питання те саме, дані й відповідь — інші, щоб перевірити справжнє візуальне міркування VLM.
Що вивчали
Зворотна інженерія в виконуваний код, варіанти з контролем seed, метрики чутливості моделей.
Головні висновки
- Високий бал на одному графіку ховає провали на контрфактуалах.
- Помилки зростають, коли потрібен новий візуальний шлях міркування.
Що це означає для розробників
Додавайте counterfactual пари в eval VLM; тестуйте зміну даних при тому ж запиті до дашборду.
Обмеження
Домен chart QA; екзотичні візуалізації можуть ламати реконструкцію.