JSONL, Parquet і WebDataset — це те, в якому вигляді підготовлений корпус іде з рук. Формат обираю той, який ваше навчання вже читає, а не той, що виглядає модно. JSONL пасує порядковому тексту і записам чату. Parquet — колоночним таблицям і фільтрам. WebDataset — картинкам, упакованим із мітками в шарди, які завантажувач читає потоком.

У кожного шарда стійке ім’я, схема або файл поруч із назвами полів і короткий скрипт, який відкриває першу пачку. Єдиним входом не лишаю разовий ноутбук. Великий корпус ріжу на шарди, щоб зріз можна було подивитися без звантаження всього. Докладніше про шарди — у статті JSONL, шарди і шлях даних до GPU.

Приймання — набір файлів, який відкривається, схема, що збігається з вибіркою, і записана команда, яка читає перший шард. Переклад уже чистого корпусу у формат часто займає 1–2 тижні. Самі записи й далі приходять із текстових датасетів або розмітки зображень.