Computer Vision — это не фреймворк

Computer Vision отвечает на вопросы о визуальном сигнале: что на кадре, где объект, какие пиксели к нему относятся, что написано, как меняется сцена во времени. Фреймворк лишь исполняет математику на устройстве. Путать уровни опасно: команда спорит про nn.Module vs tf.keras.Model, пока датасет молча учит модель на утечке и «красивой» accuracy, которая не переносится в цех.

Типичный контур одинаков в любом зрелом стеке:

задача → данные → разметка → предобработка → модель → обучение
      → оценка → экспорт → вывод → обратная связь в данные

Для кого эта статья: разработчикам, которые входят в CV или уже пишут на одном каркасе и хотят переносимое понимание; тимлидам, которым нужно отделять «выбор библиотеки» от «качества системы»; инженерам, у которых рядом лежат OCR, детекция на схемах или контроль качества — как в пилотах УЗТ и YOLO на схемах.

Какие задачи решает Computer Vision

Карта задач помогает не тащить классификатор туда, где нужна рамка, и не ждать от детектора пиксельную маску.

Схема на пальцах:

Изображение
    │
    ├── Что это? ───────── Classification
    ├── Где объект? ────── Detection
    ├── Какие пиксели? ─── Segmentation
    ├── Что написано? ──── OCR
    └── Что происходит? ── Video Analysis

На одном промышленном контуре часто стыкуют несколько задач: детектор находит область, OCR читает подпись, отдельный классификатор решает «пустая клетка / повтор / значение». Это не «одна супермодель», а композиция — подробно на бланке УЗТ и в инженерии YOLO.

Качество начинается с данных

Модель учит то, что вы ей показали. Dataset — не «папка с картинками», а контракт: источники, правила разметки, split, распределение классов, известные дыры. Сбор, очистка, разметка, баланс, размер выборки и ошибки аннотаторов решают больше, чем смена backbone с ResNet-50 на ResNet-101.

Опасные места, которые повторяются в пилотах:

• Утечка (data leakage): почти одинаковые кадры в train и validation — метрика врёт.
• Чужой split: случайный разрез по файлам вместо разреза по объекту, листу, смене или камере.
• Дисбаланс: редкий дефект тонет в accuracy «всё нормально».
• Разметка без протокола: два разметчика рисуют разные рамки на одном объекте — сеть учит шум.
• Domain shift: ночной цех, другой сканер, новый бланк — и «хорошая» валидация рушится.

Большая модель не чинит плохие данные. Она быстрее запоминает артефакты разметки. Практическая инженерия датасетов — в серии про датасеты; метрики и цена ошибки — в качестве нейросетевых систем.

Изображение для нейросети — это тензор

Пиксель — число (или тройка чисел в RGB). Для сети картинка — многомерный массив: высота × ширина × каналы, плюс ось батча при обучении. В PyTorch часто порядок N×C×H×W, в экосистеме Keras/TensorFlow часто N×H×W×C — это соглашение API, не другая физика изображения.

Image → Pixels → Tensor → Model → Prediction

Дальше обязательны нормализация (масштаб и статистики датасета/претрейна), тип (float32 и друзья), устройство (CPU/GPU) и согласованный preprocessing на train и inference. Расхождение «в ноутбуке нормализовали так, в сервисе — иначе» даёт тихий провал качества без ошибки в логах.

Связь с железом: батч тензоров и свёртки живут на ускорителях; обзор CPU/GPU/TPU/NPU — в железе для AI.

CNN: как нейросеть учится видеть

Свёрточная сеть строит иерархию признаков: края → текстуры → части объектов → объекты. Ядро (filter) скользит по карте признаков; stride и padding задают геометрию; pooling сжимает разрешение; активации вносят нелинейность. Feature map — это не «магическая картинка», а ответ фильтра на локальный паттерн.

Pixels → Edges → Textures → Shapes → Objects

Почему CNN держатся в прикладном CV: локальность и разделение параметров хорошо совпадают с природой изображений. Transformers for Vision и гибриды сильны там, где нужны длинные зависимости и большие корпуса, но для многих промышленных задач свёртки, U-Net и детекторы на CNN-backbone остаются рабочим стандартом. От свёртки до sequence/OCR-моделей — разбор на рукописных цифрах.

Classification: первая практическая задача

Классификатор отвечает одним (или несколькими) классами на всё изображение. На выходе — logits, затем Softmax (или sigmoid в multi-label), затем функция потерь (часто cross-entropy). Accuracy удобна для отчёта и опасна при дисбалансе: модель, которая всегда говорит «годный», набирает высокий процент и проваливает редкий брак.

Минимальная схема:

Cat image → CNN → cat: 0.93 · dog: 0.05 · fox: 0.02

Смотрите матрицу ошибок, Precision, Recall, F1 и цену ложного срабатывания и пропуска. В CV порог confidence — часть продукта, а не «деталь после обучения». Подробнее — в метриках качества.

Transfer Learning: зачем обучать с нуля

Pretrained-модель на ImageNet (или отраслевом корпусе) уже умеет извлекать полезные визуальные признаки. Два рабочих режима: feature extraction (заморозить ранние слои, учить голову) и fine-tuning (аккуратно разморозить часть сети с меньшим learning rate). ResNet, EfficientNet, семейства YOLO и другие готовые веса — старт, а не финиш: ваша задача живёт в вашем датасете.

Pretrained Model → Freeze / Fine-tune → Your Dataset → Your Model

Обучение с нуля имеет смысл при радикально другом домене, жёстких лицензионных ограничениях на веса или исследовательской цели. В прикладном CV чаще выигрывает адаптация. Тот же принцип — в детекции: своя модель почти всегда начинается с готовых весов (YOLO).

Object Detection и Segmentation

Classification говорит «на изображении есть автомобиль». Detection говорит «автомобиль здесь: [x, y, w, h]» и добавляет confidence. Появляются IoU, Non-Maximum Suppression, семейства вроде YOLO и R-CNN. Segmentation идёт дальше: нужна маска пикселей — semantic (класс на пиксель) или instance (отдельный экземпляр). U-Net и Mask R-CNN — типичные опоры; выбор зависит от того, достаточно ли рамки для кропа/OCR или нужна точная геометрия дефекта.

Detection → область объекта
Segmentation → точная маска объекта

Практический вопрос продукта: если следующий шаг — вырезать клеточку и прочитать цифру, часто хватает детекции или даже эвристической геометрии бланка. Если нужна площадь поражения на снимке — без сегментации не обойтись. Инженерный разбор детекции — в YOLO; карта зрения на рентгене — в архитектуре анализа швов.

Augmentation, обучение и оценка

Augmentation искусственно расширяет выборку: поворот, crop, flip, масштаб, яркость, шум. Полезно, когда трансформации соответствуют реальному миру. Вредно, когда ломает смысл: зеркальный символ на схеме, перевёрнутая цифра как «новый» класс, аугментации, которых в проде не бывает.

Цикл обучения один и тот же в обоих каркасах:

Image → Model → Prediction → Loss → Backpropagation → Optimizer → Updated Weights → Repeat

Epoch, batch, learning rate, overfitting и underfitting читаются одинаково: растущий train при падающем validation — сигнал запомнить, а не «ещё чуть-чуть дообучить на тех же дырах». Оценка: train / validation / test, затем real-world выборка, близкая к production. Confusion matrix, FP/FN, Precision/Recall — язык разговора с бизнесом о цене ошибки.

Training accuracy ↑
Validation accuracy ↓
        ↓
    Overfitting

От обученной модели к production

Обучение заканчивается чекпоинтом. Продукт начинается с вывода: latency, размер модели, версия preprocessing, мониторинг дрейфа, путь отката. Типичная цепочка:

Training → Model → Export → Inference → Application

Сервер и REST API, Docker, мобильный и edge-вывод, браузер, квантование и дистилляция — разные ограничения на один и тот же математический объект. Часто обучают в PyTorch, а выводят через ONNX Runtime или в браузере через WebGPU + Transformers.js. Каркас обучения и рантайм вывода — разные слои; не требуйте от одного инструмента закрыть оба мира идеально.

Перед релизом зафиксируйте три версии как один пакет: веса, код предобработки и пороги решений. Если поменяли только чекпоинт, а нормализацию оставили от старого эксперимента, отчёт об accuracy перестаёт относиться к сервису. В проде смотрите не только «модель ответила», но и долю отказов по уверенности, время ответа p95 и появление новых классов ошибок в разборе кадров — иначе дрейф данных замечают заказчики раньше вас.

PyTorch и TensorFlow в Computer Vision

Архитектура мышления одна. Различаются имена и привычные экосистемы:

Нейтральное сравнение без «победителя» — в PyTorch vs TensorFlow. Главный вопрос не «кто лучше?», а «какой инструмент удобнее команде и инфраструктуре для этой задачи?». Research и современный applied CV часто тянут к PyTorch; сложившийся Keras/TF-стек или TPU — веский аргумент за TensorFlow.

Что изучать и где это встречается

Практичный порядок без культа фреймворка:

1. Python и NumPy
2. Основы изображений и OpenCV
3. Тензоры и нейросети
4. CNN и цикл обучения
5. Метрики и честный split
6. Transfer learning и classification
7. Detection и segmentation
8. Deployment и мониторинг
9. Глубина в PyTorch или TensorFlow под ваш стек

Сначала понять Computer Vision, потом углублять API. Реальные контуры, где этот каркас повторяется: OCR документов и бланков, контроль качества, медицинские и промышленные снимки, камеры и сортировка, разбор схем и видео. На производстве редко выигрывает «одна модель на всё»; чаще — короткие звенья с явным контрактом между ними и общим циклом обратной связи в датасет.

Pipeline остаётся узнаваемым:

REAL PROBLEM → DATA → ANNOTATION → PREPROCESS → AUGMENT
 → MODEL → TRAIN → EVAL → INFERENCE → DEPLOY → FEEDBACK → DATA

Типичные ошибки новичков: учить API двух каркасов параллельно без одной законченной задачи; гнаться за SOTA-архитектурой при кривой разметке; мерить только accuracy; забывать, что preprocessing — часть модели. Дешевле один сквозной мини-проект (classification → метрики → экспорт → простой сервис), чем коллекция туториалов без вывода.

Книги вроде PyTorch Computer Vision Cookbook и Hands-On Computer Vision with TensorFlow 2 полезны для паттернов; актуальный синтаксис сверяйте с документацией — API живой. Рядом с книгами держите официальные гайды PyTorch, TorchVision, TensorFlow, Keras и OpenCV.

Частые вопросы

Дальше по теме

• Фреймворки: PyTorch, TensorFlow, JAX
• PyTorch vs TensorFlow
• Железо для AI: CPU, GPU, TPU, NPU
• ONNX: от PyTorch до Runtime
• WebGPU + Transformers.js
• Инженерия YOLO
• Рукописные цифры: CNN → TrOCR
• Инженерия датасетов
• Метрики качества нейросетей

Заключение

Computer Vision — это pipeline от реальной проблемы до обратной связи в данные, а не спор логотипов. PyTorch и TensorFlow закрывают один фундамент разными API и экосистемами. Данные, честная оценка, уместная постановка задачи (класс / рамка / маска / текст) и путь вывода решают больше, чем «кто победил в бенчмарке фреймворков». Если разработчик понимает контур зрения, смена каркаса становится сменой инструмента — а не изучением Computer Vision с нуля.