Що це за інструменти

PyTorch: тензори, autograd, torch.nn, оптимізатори, Dataset/DataLoader, CUDA/пристрої, розподілене навчання, зріла research-екосистема й робочі прод-шляхи через експорт.

TensorFlow: тензорні обчислення, диференціювання (GradientTape), Keras, tf.data, GPU/TPU, розподілене навчання, сильна гілка deployment (Serving, Lite та суміжні інструменти).

Одразу розділимо рівні:

PyTorch / TensorFlow  →  ML frameworks (навчання)
YOLO / Transformers / Diffusion  →  екосистеми моделей поверх каркасів

Коротка шкала (без музейного нарису):

2015  TensorFlow
2016  PyTorch
2017+ обидві екосистеми ростуть
2020+ PyTorch особливо помітна в modern DL research
2020+ TensorFlow посилює production / Keras / TPU

Різна історія — різні звичні акценти API, а не «один застарів».

Архітектура: два погляди на один стек

PyTorch (спрощено):

torch → Tensor · autograd · nn · optim · Dataset/DataLoader · device

Мінімальна модель:

model = nn.Sequential(
    nn.Linear(10, 32),
    nn.ReLU(),
    nn.Linear(32, 10),
)

Шари — звичайні об’єкти Python; forward запускається викликом model(x).

TensorFlow (спрощено):

TensorFlow → Tensor · GradientTape · Keras · tf.data · optimizers · GPU/TPU

Аналог через Keras — Sequential / Functional / наслідування (subclassing) keras.Model. Високорівневий шлях: compile + fit. Низькорівневий — явний GradientTape.

Тензор і автоматичне диференціювання

Тензор — центральний об’єкт: форма, тип, пристрій, операції.

# PyTorch
x = torch.tensor([1.0, 2.0, 3.0])

# TensorFlow
x = tf.constant([1.0, 2.0, 3.0])

Батч майже завжди додає провідну вісь B. Без розуміння форми ([B, C, H, W] тощо) порівняння фреймворків марне — помилки будуть ті самі.

Autograd / градієнти:

PyTorch:     forward → loss → loss.backward() → .grad → optimizer.step()
TensorFlow:  forward → loss у GradientTape → tape.gradient(...) → apply_gradients

Математика одна: зворотне поширення по графу обчислень. Змінюється синтаксис і те, коли граф фіксується для диференціювання.

Історично TensorFlow асоціювали з «статичним графом», PyTorch — з динамічним eager-стилем. Сьогодні обидві екосистеми вміють eager і компіляцію/прискорення графа; корисніше дивитися на ваш код і версію API, а не на мем 2017 року.

Цикл навчання й визначення моделей

PyTorch — явний цикл:

for x, y in dataloader:
    optimizer.zero_grad()
    prediction = model(x)
    loss = criterion(prediction, y)
    loss.backward()
    optimizer.step()

Модель зазвичай class MyModel(nn.Module).

TensorFlow — два поверхи:

# Keras: цикл схований
model.compile(optimizer=..., loss=..., metrics=...)
model.fit(train_ds, epochs=...)

# Custom loop: повний контроль
with tf.GradientTape() as tape:
    prediction = model(x)
    loss = loss_fn(y, prediction)
gradients = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Моделі: keras.Model, Sequential, Functional API. Keras зменшує boilerplate; custom loop повертає контроль, близький до PyTorch.

Дані, прискорювачі й продуктивність

Дані. PyTorch: Dataset + DataLoader (батч, перемішування, воркери, transforms). TensorFlow: tf.data (map, batch, shuffle, prefetch) — сильний конвеєр під GPU.

files → decode → transform → batch → prefetch → GPU

Вузьке місце часто не «чужий фреймворк», а голодний GPU, що чекає батч з диска.

Залізо. Каркас ≠ залізо:

Python → Framework API → backend → CUDA / Metal / TPU runtime → hardware

NVIDIA CUDA — основний прискорювач для обох екосистем. TPU — помітний плюс гілки TensorFlow/JAX. Apple Silicon — MPS у PyTorch і окремі стеки на кшталт MLX. Можливість пристрою залежить від драйверів і збірок, не від логотипу.

Продуктивність. Не можна чесно сказати «X швидший за Y» без протоколу. На швидкість впливають модель, розмір батча, вхід, GPU/пам’ять, конвеєр даних, змішану точність (mixed precision), компіляція, розподілену схему й якість реалізації. Мінімальний відтворюваний бенчмарк: одна модель, один датасет, один batch, одне залізо, однакові епохи — міряйте зразків/сек, час епохи, пам’ять GPU.

Дослідження, прод, зір і LLM

Дослідження люблять швидкі ітерації й нестандартні архітектури — тут часто виграє звичний eager-стиль PyTorch і зоопарк моделей навколо нього.

Прод вимагає стабільного контуру: навчання → експорт/оптимізація → inference runtime → моніторинг. Обидві екосистеми це вміють; шлях може проходити повз training-каркас:

Training → Model → Export / Optimization → Inference Runtime

Комп’ютерний зір. CNN, детекція, сегментація, OCR, CRNN, ViT живуть в обох екосистемах. Багато популярних контурів детекції (зокрема сімейство YOLO) історично спираються на PyTorch — це факт екосистеми, не «доказ переваги».

LLM / Transformers. Hugging Face Transformers, донавчання, LoRA/PEFT, розподілене навчання сьогодні частіше зустрічаються в PyTorch-центричних пайплайнах. TensorFlow-бекенди й ваги теж існують; дивіться на конкретну картку моделі й гайд, а не на гасло.

Відладка. PyTorch зазвичай відладжується як звичайний Python. Keras дає зворотні виклики (callbacks) і високий рівень; при власному циклі відладка знову стає «явним Python».

Вивід у прод і екосистеми

TensorFlow-гілка виводу: TensorFlow Serving, TensorFlow Lite, суміжні формати під сервер/edge / мобільні пристрої.

PyTorch-гілка: сучасні механізми експорту, часто ONNX → ONNX Runtime, плюс спеціалізовані рантайми. Браузерний шлях: ONNX → WebGPU / Transformers.js — див. WebGPU + Transformers.js.

Не змішуйте training framework і inference runtime: навчати можна в одному, виводити — в іншому.

У реальному проєкті каркас — лише частина:

project/
├── data/ · models/ · training/ · evaluation/
├── inference/ · checkpoints/ · configs/

Framework дає тензори, шари, цикл; пайплайн даних, метрики, конфіги й сервінг — ваша інженерія.

Ще один частий сюрприз: команда «переїжджає на PyTorch», але в проді лишається TF Serving або Lite — і півроку живе двома світами. Це нормально, якщо міст (експорт, контракти входів/виходів, паритет метрик) описаний явно. Погано, коли міст лише мається на увазі.

Один проєкт двома способами

Класифікація зображень (наприклад MNIST) на обох каркасах:

PyTorch:     Dataset → DataLoader → Model → Loss → Optimizer → Training loop
TensorFlow:  tf.data → Model → Loss → Optimizer → fit / custom loop

Практика на сайті: рукописні цифри. Після двох реалізацій порівняйте не «красу», а: скільки рядків до першого навчання, де схований цикл, як зберегти ваги, як зробити inference без навчання.

Зведена таблиця й карта вибору

Карта вибору (без рейтингу):

Зрозуміти backpropagation?     → micrograd
Побачити влаштування каркасу?  → tinygrad
CNN / CRNN / YOLO / OCR?       → частіше PyTorch-екосистема
Уже TF / потрібен TPU?         → TensorFlow
Сучасні LLM-пілоти?            → частіше PyTorch (+ Transformers)
Вивід у браузері?              → навчання де завгодно → ONNX / Web

Зв’язка з навчальними каркасами:

micrograd → зрозуміти autograd
tinygrad  → побачити влаштування framework
PyTorch / TensorFlow → реальна розробка

Докладніше: ML-фреймворки. Поруч стоїть і JAX (NumPy + grad/jit/vmap, сильний на TPU) — світ не закінчується двома гігантами.

Міфи й що під капотом

• «PyTorch — лише research» — спрощення: applied CV/LLM і прод через експорт звичні.
• «TensorFlow більше не потрібен» — теж міф, якщо у вас TF Serving, Lite, TPU або великий Keras-код.
• «Це одне й те саме» — ні: різний API-стиль, різна історія deployment і різний центр екосистеми.
• «Обрати на все життя» — інженери працюють із кількома стеками.
• «Фреймворк = якість моделі» — ні: дані, архітектура, навчання й оцінка важливіші за логотип.

Під одним рядком loss.backward() (або tape.gradient) ховається:

Python → Framework API → Autograd / graph → Tensor ops
       → Compiler / backend → CUDA/TPU runtime → hardware

Часті запитання

Далі по темі

• Залізо для AI
• Фреймворки для навчання нейромереж
• ONNX: від PyTorch до Runtime
• WebGPU + Transformers.js
• Інженерія YOLO
• Компактна CRNN
• Рукописні цифри

Висновок

PyTorch і TensorFlow — повноцінні каркаси для тензорів, градієнтів і навчання. Вони схожі за математикою й відрізняються API, звичними екосистемами й шляхами до продакшену. Вибір — відповідь на питання «яка задача, яке залізо, хто супроводжує», а не полювання за абсолютним чемпіоном. Поверх каркасу живуть Transformers, YOLO та інші бібліотеки; поруч розвиваються JAX і навчальні micrograd/tinygrad. Логічний шлях серії:

Як навчають нейромережі → ML frameworks → PyTorch vs TensorFlow
        → YOLO / CRNN / Transformers → CV / LLM
        → ONNX → WebGPU / браузерний вивід