Новини для розробників без шуму — My Dev News у Telegram.
Тег
Усі статті блогу з цим тегом.
Чому моделі зі сумішшю експертів потребують багато пам’яті при малій кількості активних параметрів, як працюють квантування та вивантаження шарів, і чому 64 ГБ RAM плюс 16 ГБ VRAM — серйозний старт для домашнього локального ШІ.
Кейс з Habr: велика модель на NPU через FastFlowLM, пастки з пам’яттю, чергою й скасуванням запитів, окупність проти хмари.
MoE на CMP 90HX терпимо, dense — ні: карта обмежена за типами обчислень. Модифікація драйвера через V67 дає майже ×2, але не знімає всі обмеження.
