Зміст
Коротко
ROUGE і BERTScore досі часто використовують для оцінки відповідей LLM, але дослідження показує: вони можуть давати майже однакові бали текстам, які прямо суперечать еталону. MATCHA поєднує близькість до reference і штраф за синтетичне «протилежне» твердження — і на восьми бенчмарках краще збігається з розміткою людей.
Що вивчали
Автори порівняли класичні token-overlap метрики та embedding-метрики зі схемою MATCHA (dual-view): (1) близькість до золотого тексту, (2) відстань від adversarial counterfactual — згенерованої суперечності.
Перевірка на QA, сумаризації, NLI, captioning, STS, включно з TruthfulQA без локального навчання метрики.
Головні висновки
- Популярні метрики систематично завищують оцінку взаємовиключних формулювань.
- На TruthfulQA збіг з людською розміткою вищий за ROUGE-L на 18,38% і BERTScore на 20,82%.
- Серед 23 embedding-моделей MATCHA точніше відокремлює коректні твердження від помилкових лише за reference.
- Код відкритий: github.com/Siran-Li/MATCHA.
Що це означає для розробників
- CI для RAG і чат-ботів: не зупиняйтеся на ROUGE — додайте перевірку на семантичну суперечність еталону.
- Регресії промптів: дивіться не лише на similarity, а й на близькість до контрфактуального «антитезису».
- Eval harness: MATCHA як додатковий сигнал поруч із LLM-as-judge.
- Звітність: високий BERTScore ≠ правда — пояснюйте це замовнику.
Обмеження
Потрібен reference; для відкритих діалогів без еталону потрібні інші сигнали. Критичні домени все одно потребують ручної перевірки.