Контроль якості датасету — це звіт, за яким видно, чи можна на корпусі починати навчання. Рахую рядки, класи, порожні поля, зняті дублі, зняте сміття і частку синтетики. Контроль якості — не відчуття і не одна цифра точності моделі, яку ще не навчали.
Людина читає вибіркову перевірку: випадкові рядки плюс ті, які правила знайшли дивними. Звіт називає прогалини, а не ховає їх: клас із двадцяти прикладів, джерело, яке прийшло пізно, поле, порожнє в половині рядків. Пороги записані: що має зійтися, перш ніж я назву датасет готовим. Провалений поріг я не «лагоджу» видаленням тестового зрізу.
Приймання — звіт, вибірка з нотатками перевіряльника і скрипт, який друкує ті самі лічильники зі зданих файлів. Звіт по вже зібраному корпусу часто займає 1–3 тижні. Якщо цифри кажуть, що дані не готові, далі очищення або дані для fine-tuning, а не запуск.
