Підготовка даних для AI

Контроль якості датасету

Контроль якості датасету — це звіт, за яким видно, чи можна на корпусі починати навчання.

Обговорити цей напрямФорма контакту

Коротко опишіть мету, обмеження стеку та строки — відповім у Telegram.

Контроль якості датасету — це звіт, за яким видно, чи можна на корпусі починати навчання. Рахую рядки, класи, порожні поля, зняті дублі, зняте сміття і частку синтетики. Контроль якості — не відчуття і не одна цифра точності моделі, яку ще не навчали.

Людина читає вибіркову перевірку: випадкові рядки плюс ті, які правила знайшли дивними. Звіт називає прогалини, а не ховає їх: клас із двадцяти прикладів, джерело, яке прийшло пізно, поле, порожнє в половині рядків. Пороги записані: що має зійтися, перш ніж я назву датасет готовим. Провалений поріг я не «лагоджу» видаленням тестового зрізу.

Приймання — звіт, вибірка з нотатками перевіряльника і скрипт, який друкує ті самі лічильники зі зданих файлів. Звіт по вже зібраному корпусу часто займає 1–3 тижні. Якщо цифри кажуть, що дані не готові, далі очищення або дані для fine-tuning, а не запуск.

Критерії приймання

Готово, коли

  • Схема і зміст полів зафіксовані письмово
  • Поділ train / validation / test відтворюється і перевірений на витік
  • Звіт якості містить обсяги, зняті дублі та відомі прогалини

Що передаємо

  • Файли датасету в узгодженому форматі
  • Відтворюваний скрипт підготовки
  • Звіт про якість

Не входить

  • Навчання моделі і вивід у прод
  • Юридичний висновок щодо персональних даних і чужих ліцензій
  • Обсяг розмітки понад узгоджену вибірку, якщо його немає в кошторисі

Фінальний акт приймання фіксується в брифі або договорі; список вище — орієнтир для узгодження scope.

Орієнтовний розрахунок

Обсяг
Додатково

Поширені запитання

Натисніть на запитання, щоб розгорнути відповідь.

Ви гарантуєте точність моделі?

Ні. Гарантую, що звіт збігається з файлами. Точність — у навчання й оцінки, вони тут поза межами.

Що, якщо вибірка не пройшла?

Датасет не прийнято. Міняємо правило або вибірку і наново друкуємо лічильники.

Обговорити цей напрямФорма контакту

Коротко опишіть мету, обмеження стеку та строки — відповім у Telegram.

Повний опис послуги