Зміст
Вступ
Після вибору архітектури, моделі та інфраструктури потрібно вирішити, які дані використає корпоративний ШІ. На практиці якість їх підготовки частіше визначає якість відповіді, ніж нова версія моделі. Модель не виправить дублікати, застарілі регламенти й безлад у документах.
Чому це важливо
RAG працює настільки добре, наскільки надійні його джерела. Якщо база знань містить суперечності або неактуальні версії, система відтворить ці проблеми у відповідях. Тому підготовка даних — окремий інженерний процес із правилами, відповідальними та перевірюваним результатом.
Основне пояснення
Конвеєр підготовки охоплює інвентаризацію джерел, очищення й нормалізацію документів, вилучення дублікатів, виділення метаданих, поділ на змістові фрагменти, створення ембедингів, індексацію та регулярне оновлення.
flowchart LR
sources[Джерела даних] --> cleaning[Очищення]
cleaning --> normalize[Нормалізація]
normalize --> chunks[Змістові фрагменти]
chunks --> embeddings[Ембединги]
embeddings --> index[Векторний індекс]
index --> rag[RAG]
Універсального розміру фрагмента не існує. Надто великі погіршують точність пошуку, а надто малі втрачають контекст. Правило поділу обирають відповідно до структури документів і сценаріїв користувачів, а потім перевіряють на реальних запитах.
Метадані важливі не менше за текст: автор, дата затвердження, версія, підрозділ, категорія, строк чинності та рівень конфіденційності допомагають точніше шукати й застосовувати потрібні обмеження.
Безпека
| Вимога | Практичне значення |
|---|---|
| Класифікація документів | Закриті матеріали не індексують без дозволу |
| Перевірка актуальності | У пошук потрапляють чинні версії |
| Власники джерел | Є відповідальні за якість і зміни |
| Журнал оновлень | Походження даних можна простежити |
| Фільтрація за ролями | Видача враховує права користувача |
Права доступу мають бути частиною даних і конвеєра, а не перевіркою, яку додають після індексації.
Корпоративний приклад
Промисловий холдинг отримує документи із системи управління ресурсами підприємства, системи електронного документообігу, файлових архівів і внутрішнього порталу. Єдиний конвеєр очищує їх від технічного шуму, додає метадані, формує фрагменти та перевіряє якість. База знань стає однорідною, хоча вихідні системи різні.
Приклад з промислової безпеки
Для експертів готують норми, внутрішні методики, архів висновків і результати обстежень. Застарілі редакції нормативних документів зберігають для історичного аналізу, але виключають зі звичайного пошуку. Це зменшує ризик послатися на нечинну вимогу під час підготовки висновку.
ШІ формує відповідь на підставі дозволених матеріалів, а фахівець перевіряє її обґрунтування та відповідає за остаточне рішення.
Типові помилки
- Індексувати документи без очищення.
- Не враховувати версії та строки чинності.
- Застосовувати однаковий поділ до всіх типів даних.
- Ігнорувати метадані та власників джерел.
- Не оновлювати індекс регулярно.
Практичні висновки
До запуску підготуйте каталог джерел, правила очищення, модель метаданих, стратегію поділу, регламент оновлення та процедуру контролю якості. Це перетворює архіви на керовану базу знань, а не на ще одне сховище файлів.
Ключові тези
- Якість даних важливіша за кількість документів.
- Підготовка даних потребує окремого процесу та відповідальності.
- Метадані підвищують точність пошуку й підтримують безпеку.
- Керування версіями є обов’язковим для підприємства.
- Базу знань потрібно постійно оновлювати.