Зміст
Коротко
Навантажувальне тестування інформаційного пошуку упирається в розмір корпусу та дорогу ручну розмітку релевантності. SPECTRA генерує синтетичні текстові колекції з детермінованими оракулами релевантності — як діагностичний інструмент до повноцінної TREC-оцінки, а не заміна експертам.
Що вивчали
Фреймворк розділяє: латентну тематику, генерацію поверхневого тексту, метадані, наміри запитів і мітки релевантності. Прототип на Python зібрав корпус до 60 000 документів (~9,6 млн токенів) і 96 запитів з градуйованими мітками.
Швидкість генерації близька до лінійної: порядку 12–14 тис. документів на секунду. При зростанні частки «перехресного» distractor-тексту BM25 nDCG@10 падає з 1,00 (2% шуму) до 0,43 (36% шуму).
Головні висновки
- Легкий синтетичний корпус може виявити проблеми масштабування індексу, маршрутизації запитів і пайплайна оцінки до витрат на людську розмітку.
- Контрольований long-tail словника (оцінка Zipf ~0,86) допомагає перевірити поведінку на рідкісних термінах.
- Це доповнення до Cranfield/TREC, не заміна людським судженням.
Що це означає для розробників
- Перед масштабуванням Elasticsearch/OpenSearch — прогоніть синтетичний стрес-корпус з відомим оракулом.
- У CI для пошуку додайте сценарії з зростаючою часткою стороннього тексту.
- Розділяйте тести інфраструктури (швидкість індексації) від тестів якості (nDCG на розмітці).
Обмеження
Синтетичний текст не відображає всі нюанси реальних запитів користувачів. Прототип — single-process; розподілена генерація не описана як production-ready.