Підготовка даних для AI

Очищення і нормалізація

Очищення і нормалізація роблять спільну таблицю придатною для навчання.

Обговорити цей напрямФорма контакту

Коротко опишіть мету, обмеження стеку та строки — відповім у Telegram.

Очищення і нормалізація роблять спільну таблицю придатною для навчання. Зводжу до одного вигляду типи, дати, кодування, схожі символи Юнікоду і різницю між порожнім рядком і відсутністю значення. Очищення і нормалізація — це не дедуплікація і не видалення сміття: рідкісний, але вірний рядок лишається, бите кодування — ні.

Схему пишу звичайною мовою: що означає поле, які значення допустимі і що відбувається з рядком, який не пройшов правило. Вільний текст не перетворюю мовчки на категорію. Часовий пояс і валюту називаю явно. Текст нормалізую лише там, де в брифі сказано, що регістр, пробіли чи знаки не повинні змінювати мітку.

Приймання — схема, вибірка «до і після» і лічильник рядків, знятих за названим правилом. Скрипт зупиняється на новому неочікуваному значенні, а не вгадує. Одна таблиця часто займає 1–2 тижні після збору. Далі — дедуплікація.

Критерії приймання

Готово, коли

  • Схема і зміст полів зафіксовані письмово
  • Поділ train / validation / test відтворюється і перевірений на витік
  • Звіт якості містить обсяги, зняті дублі та відомі прогалини

Що передаємо

  • Файли датасету в узгодженому форматі
  • Відтворюваний скрипт підготовки
  • Звіт про якість

Не входить

  • Навчання моделі і вивід у прод
  • Юридичний висновок щодо персональних даних і чужих ліцензій
  • Обсяг розмітки понад узгоджену вибірку, якщо його немає в кошторисі

Фінальний акт приймання фіксується в брифі або договорі; список вище — орієнтир для узгодження scope.

Орієнтовний розрахунок

Обсяг
Додатково

Поширені запитання

Натисніть на запитання, щоб розгорнути відповідь.

Ви перепишете наші вихідні системи?

Ні. Очищення живе в скрипті підготовки. CRM або ERP лишається системою обліку.

Що, якщо в полі три формати дати?

Ті, що можна довести, зіставляю. Решту відкладаю з причиною, а не вигадую дату.

Обговорити цей напрямФорма контакту

Коротко опишіть мету, обмеження стеку та строки — відповім у Telegram.

Повний опис послуги