JSONL, шарди і шлях даних до GPU: від одного рядка до навчання
Як влаштовані великі набори для навчання: JSON проти JSONL, шарди, стиснення, токени, батчі й епохи — і чому терабайт даних не потребує терабайта RAM.
Stuzhuk Lab — Chemistry of Code
Хімія коду
← Усі статті
Тег
ml dataset engineering
Усі статті блогу з цим тегом.
Датасет для SFT: як спроєктувати корпус донавчання
Опорний лонгрід про корпус для донавчання з учителем: контракт пари «інструкція → відповідь», покриття, відмови, синтетика й експерти, перевірки перед навчанням і витоки з оцінкою.
Інженерія датасетів для навчання моделей: з чого почати
Опорний лонгрід про підготовку даних для навчання та оцінки ШІ: еталонні записи, редактори еталонів, розділення навчання й оцінки, витоки, маніфести та параметри за задачею й доменом.