Видалення сміття викидає рядки, яких не варто вчити модель: порожні файли, повторні шапки, сміття розпізнавання, спам, записи «тест» і шаблон, який стоїть на кожній сторінці. Видалення сміття — не дедуплікація. Дубль доброго прикладу все ще добрий приклад; у сміття немає мітки, яку варто вчити.

Правила називаю до запуску: «занадто коротко», «майже самі символи», «відомий тестовий акаунт», «підвал шаблону». Дивлюся вибірку того, що правило зніме, і кілька рядків, які воно має лишити, щоб рідкісний клас не поїхав разом зі сміттям. Персональні дані, яким не можна лишатися в корпусі, маскую або знімаю за брифом, а не змішую з туманним «почистити».

Приймання — список правил, лічильники знятого і підписана вибірка знятих і залишених рядків. Файл знятих ключів лишається з датасетом. Прохід правил по одному текстовому джерелу часто займає 1–2 тижні. Цифри якості — пізніше, у контролі якості датасету.