Computer Vision — це не фреймворк

Computer Vision відповідає на питання про візуальний сигнал: що на кадрі, де об’єкт, які пікселі до нього належать, що написано, як змінюється сцена в часі. Фреймворк лише виконує математику на пристрої. Плутати рівні небезпечно: команда сперечається про nn.Module vs tf.keras.Model, доки датасет мовчки вчить модель на витоку й «красивій» accuracy, яка не переноситься в цех.

Типовий контур однаковий у будь-якому зрілому стеку:

задача → дані → розмітка → попередня обробка → модель → навчання
      → оцінка → експорт → вивід → зворотний зв’язок у дані

Для кого ця стаття: розробникам, які входять у CV або вже пишуть на одному каркасі й хочуть переносне розуміння; тімлідам, яким потрібно відділяти «вибір бібліотеки» від «якості системи»; інженерам, у яких поруч лежать OCR, детекція на схемах або контроль якості — як у пілотах УЗТ і YOLO на схемах.

Які задачі розв’язує Computer Vision

Карта задач допомагає не тягнути класифікатор туди, де потрібна рамка, і не чекати від детектора піксельну маску.

Схема на пальцях:

Зображення
    │
    ├── Що це? ─────────── Classification
    ├── Де об’єкт? ─────── Detection
    ├── Які пікселі? ───── Segmentation
    ├── Що написано? ───── OCR
    └── Що відбувається? ─ Video Analysis

На одному промисловому контурі часто стикують кілька задач: детектор знаходить область, OCR читає підпис, окремий класифікатор вирішує «порожня клітинка / повтор / значення». Це не «одна супермодель», а композиція — докладно на бланку УЗТ і в інженерії YOLO.

Якість починається з даних

Модель вчить те, що ви їй показали. Dataset — не «тека з картинками», а контракт: джерела, правила розмітки, split, розподіл класів, відомі діри. Збір, очищення, розмітка, баланс, розмір вибірки й помилки анотаторів вирішують більше, ніж зміна backbone з ResNet-50 на ResNet-101.

Небезпечні місця, що повторюються в пілотах:

• Витік (data leakage): майже однакові кадри в train і validation — метрика бреше.
• Чужий split: випадковий розріз за файлами замість розрізу за об’єктом, аркушем, зміною чи камерою.
• Дисбаланс: рідкісний дефект тоне в accuracy «все нормально».
• Розмітка без протоколу: два розмітники малюють різні рамки на одному об’єкті — мережа вчить шум.
• Domain shift: нічний цех, інший сканер, новий бланк — і «добра» валідація руйнується.

Велика модель не лагодить погані дані. Вона швидше запам’ятовує артефакти розмітки. Практична інженерія датасетів — у серії про датасети; метрики й ціна помилки — в якості нейромережевих систем.

Зображення для нейромережі — це тензор

Піксель — число (або трійка чисел у RGB). Для мережі картинка — багатовимірний масив: висота × ширина × канали, плюс вісь батча під час навчання. У PyTorch часто порядок N×C×H×W, в екосистемі Keras/TensorFlow часто N×H×W×C — це домовленість API, не інша фізика зображення.

Image → Pixels → Tensor → Model → Prediction

Далі обов’язкові нормалізація (масштаб і статистики датасету/претрейну), тип (float32 і друзі), пристрій (CPU/GPU) і узгоджений preprocessing на train і inference. Розбіжність «у ноутбуці нормалізували так, у сервісі — інакше» дає тихий провал якості без помилки в логах.

Зв’язок із залізом: батч тензорів і згортки живуть на прискорювачах; огляд CPU/GPU/TPU/NPU — у залізі для AI.

CNN: як мережа вчиться бачити

Згорткова мережа будує ієрархію ознак: краї → текстури → частини об’єктів → об’єкти. Ядро (filter) ковзає мапою ознак; stride і padding задають геометрію; pooling стискає роздільність; активації вносять нелінійність. Feature map — це не «магічна картинка», а відповідь фільтра на локальний патерн.

Pixels → Edges → Textures → Shapes → Objects

Чому CNN тримаються в прикладному CV: локальність і розділення параметрів добре збігаються з природою зображень. Transformers for Vision і гібриди сильні там, де потрібні довгі залежності й великі корпуси, але для багатьох промислових задач згортки, U-Net і детектори на CNN-backbone лишаються робочим стандартом. Від згортки до sequence/OCR-моделей — розбір на рукописних цифрах.

Classification: перша практична задача

Класифікатор відповідає одним (або кількома) класами на все зображення. На виході — logits, потім Softmax (або sigmoid у multi-label), потім функція втрат (часто cross-entropy). Accuracy зручна для звіту й небезпечна при дисбалансі: модель, що завжди каже «придатний», набирає високий відсоток і провалює рідкісний брак.

Мінімальна схема:

Cat image → CNN → cat: 0.93 · dog: 0.05 · fox: 0.02

Дивіться матрицю помилок, Precision, Recall, F1 і ціну хибного спрацювання та пропуску. У CV поріг confidence — частина продукту, а не «деталь після навчання». Докладніше — у метриках якості.

Transfer Learning: навіщо навчати з нуля

Pretrained-модель на ImageNet (або галузевому корпусі) уже вміє витягувати корисні візуальні ознаки. Два робочі режими: feature extraction (заморозити ранні шари, вчити голову) і fine-tuning (обережно розморозити частину мережі з меншим learning rate). ResNet, EfficientNet, родини YOLO та інші готові ваги — старт, а не фініш: ваша задача живе у вашому датасеті.

Pretrained Model → Freeze / Fine-tune → Your Dataset → Your Model

Навчання з нуля має сенс при радикально іншому домені, жорстких ліцензійних обмеженнях на ваги або дослідницькій меті. У прикладному CV частіше виграє адаптація. Той самий принцип — у детекції: своя модель майже завжди починається з готових ваг (YOLO).

Object Detection і Segmentation

Classification каже «на зображенні є автомобіль». Detection каже «автомобіль тут: [x, y, w, h]» і додає confidence. З’являються IoU, Non-Maximum Suppression, родини на кшталт YOLO і R-CNN. Segmentation іде далі: потрібна маска пікселів — semantic (клас на піксель) або instance (окремий примірник). U-Net і Mask R-CNN — типові опори; вибір залежить від того, чи достатньо рамки для кропу/OCR, чи потрібна точна геометрія дефекту.

Detection → область об’єкта
Segmentation → точна маска об’єкта

Практичне питання продукту: якщо наступний крок — вирізати клітинку й прочитати цифру, часто вистачає детекції або навіть евристичної геометрії бланка. Якщо потрібна площа ураження на знімку — без сегментації не обійтися. Інженерний розбір детекції — у YOLO; карта зору на рентгені — в архітектурі аналізу швів.

Augmentation, навчання й оцінка

Augmentation штучно розширює вибірку: поворот, crop, flip, масштаб, яскравість, шум. Корисно, коли трансформації відповідають реальному світу. Шкідливо, коли ламає сенс: дзеркальний символ на схемі, перевернута цифра як «новий» клас, аугментації, яких у проді не буває.

Цикл навчання один і той самий в обох каркасах:

Image → Model → Prediction → Loss → Backpropagation → Optimizer → Updated Weights → Repeat

Epoch, batch, learning rate, overfitting і underfitting читаються однаково: зростаючий train при падаючому validation — сигнал запам’ятати, а не «ще трохи донавчити на тих самих дірах». Оцінка: train / validation / test, потім real-world вибірка, близька до production. Confusion matrix, FP/FN, Precision/Recall — мова розмови з бізнесом про ціну помилки.

Training accuracy ↑
Validation accuracy ↓
        ↓
    Overfitting

Від навченої моделі до production

Навчання закінчується чекпоінтом. Продукт починається з виводу: latency, розмір моделі, версія preprocessing, моніторинг дрейфу, шлях відкату. Типовий ланцюжок:

Training → Model → Export → Inference → Application

Сервер і REST API, Docker, мобільний і edge-вивід, браузер, квантування й дистиляція — різні обмеження на один і той самий математичний об’єкт. Часто навчають у PyTorch, а виводять через ONNX Runtime або в браузері через WebGPU + Transformers.js. Каркас навчання й рантайм виводу — різні шари; не вимагайте від одного інструмента закрити обидва світи ідеально.

Перед релізом зафіксуйте три версії як один пакет: ваги, код попередньої обробки й пороги рішень. Якщо змінили лише чекпоінт, а нормалізацію лишили від старого експерименту, звіт про accuracy перестає стосуватися сервісу. У проді дивіться не лише «модель відповіла», а й частку відмов за впевненістю, час відповіді p95 і появу нових класів помилок у розборі кадрів — інакше дрейф даних помітять замовники раніше за вас.

PyTorch і TensorFlow у Computer Vision

Архітектура мислення одна. Відрізняються імена й звичні екосистеми:

Нейтральне порівняння без «переможця» — у PyTorch vs TensorFlow. Головне питання не «хто кращий?», а «який інструмент зручніший команді й інфраструктурі для цієї задачі?». Research і сучасний applied CV часто тягнуть до PyTorch; уже складений Keras/TF-стек або TPU — вагомий аргумент за TensorFlow.

Що вивчати і де це зустрічається

Практичний порядок без культу фреймворку:

1. Python і NumPy
2. Основи зображень і OpenCV
3. Тензори й нейромережі
4. CNN і цикл навчання
5. Метрики й чесний split
6. Transfer learning і classification
7. Detection і segmentation
8. Deployment і моніторинг
9. Глибина в PyTorch або TensorFlow під ваш стек

Спочатку зрозуміти Computer Vision, потім поглиблювати API. Реальні контури, де цей каркас повторюється: OCR документів і бланків, контроль якості, медичні й промислові знімки, камери й сортування, розбір схем і відео. На виробництві рідко виграє «одна модель на все»; частіше — короткі ланки з явним контрактом між ними й спільним циклом зворотного зв’язку в датасет.

Pipeline лишається впізнаваним:

REAL PROBLEM → DATA → ANNOTATION → PREPROCESS → AUGMENT
 → MODEL → TRAIN → EVAL → INFERENCE → DEPLOY → FEEDBACK → DATA

Типові помилки новачків: вчити API двох каркасів паралельно без однієї завершеної задачі; гнатися за SOTA-архітектурою при кривій розмітці; міряти лише accuracy; забувати, що preprocessing — частина моделі. Дешевше один наскрізний мініпроєкт (classification → метрики → експорт → простий сервіс), ніж колекція туторіалів без виводу.

Книги на кшталт PyTorch Computer Vision Cookbook і Hands-On Computer Vision with TensorFlow 2 корисні для патернів; актуальний синтаксис звіряйте з документацією — API живий. Поруч із книгами тримайте офіційні гайди PyTorch, TorchVision, TensorFlow, Keras і OpenCV.

Часті питання

Далі за темою

• Фреймворки: PyTorch, TensorFlow, JAX
• PyTorch vs TensorFlow
• Залізо для AI: CPU, GPU, TPU, NPU
• ONNX: від PyTorch до Runtime
• WebGPU + Transformers.js
• Інженерія YOLO
• Рукописні цифри: CNN → TrOCR
• Інженерія датасетів
• Метрики якості нейромереж

Висновок

Computer Vision — це pipeline від реальної проблеми до зворотного зв’язку в дані, а не суперечка логотипів. PyTorch і TensorFlow закривають один фундамент різними API й екосистемами. Дані, чесна оцінка, доречна постановка задачі (клас / рамка / маска / текст) і шлях виводу вирішують більше, ніж «хто переміг у бенчмарку фреймворків». Якщо розробник розуміє контур зору, зміна каркаса стає зміною інструмента — а не вивченням Computer Vision з нуля.