Очищення і нормалізація роблять спільну таблицю придатною для навчання. Зводжу до одного вигляду типи, дати, кодування, схожі символи Юнікоду і різницю між порожнім рядком і відсутністю значення. Очищення і нормалізація — це не дедуплікація і не видалення сміття: рідкісний, але вірний рядок лишається, бите кодування — ні.
Схему пишу звичайною мовою: що означає поле, які значення допустимі і що відбувається з рядком, який не пройшов правило. Вільний текст не перетворюю мовчки на категорію. Часовий пояс і валюту називаю явно. Текст нормалізую лише там, де в брифі сказано, що регістр, пробіли чи знаки не повинні змінювати мітку.
Приймання — схема, вибірка «до і після» і лічильник рядків, знятих за названим правилом. Скрипт зупиняється на новому неочікуваному значенні, а не вгадує. Одна таблиця часто займає 1–2 тижні після збору. Далі — дедуплікація.
