Очистка и нормализация делают общую таблицу пригодной для обучения. Привожу к одному виду типы, даты, кодировки, похожие символы Юникода и разницу между пустой строкой и отсутствием значения. Очистка и нормализация — это не дедупликация и не удаление мусора: редкая, но верная строка остаётся, битая кодировка — нет.
Схему пишу обычным языком: что значит поле, какие значения допустимы и что происходит со строкой, которая не прошла правило. Свободный текст не превращаю молча в категорию. Часовой пояс и валюту называю явно. Текст нормализую только там, где в брифе сказано, что регистр, пробелы или знаки не должны менять метку.
Приёмка — схема, выборка «до и после» и счётчик строк, снятых по названному правилу. Скрипт останавливается на новом неожиданном значении, а не угадывает. Одна таблица часто занимает 1–2 недели после сбора. Дальше — дедупликация.
