Что произошло

Сервер у Justhost: Intel Xeon Gold 6148, доступно около 3,8 ГБ, Ubuntu 24.04, Ollama 0.35 и Open WebUI в Docker. Веб-интерфейс сам ест около гигабайта, поэтому модели на 4 млрд параметров запускали уже без него. Образы Docker заняли около 13 ГБ ещё до первой модели. Снаружи модель не торчит: к ней ходят через ключ интерфейса.

В прогоне были llama3.2 на 1 млрд (модель из шаблона; Meta признана в РФ экстремистской и запрещена), gemma3 на 1 и 4 млрд, qwen3.5 на 2 и 4 млрд, granite4, две LFM2.5 и дообученная на русском QVikhr-3-4B. Квант в основном Q4_K_M. Условия одинаковые: один запрос, температура 0, семя 42, структурный ответ по схеме, рассуждение выключено там, где оно выключается. Данные синтетические, магазин электроники, не меньше трети примеров с ловушками: сарказм, два телефона, отменённое по ходу совещания решение, «до пятницы» вместо даты.

Короткие задачи вытянули модели от 2 млрд. Классификация 20 обращений: QVikhr разметила все, около 3,5 секунды и порядка 950–1000 запросов в час. qwen3.5 на 4 млрд тоже без ошибок, но примерно втрое медленнее, потому что каждый раз заново читала системный текст. Тональность: 22 из 24 у QVikhr и qwen3.5:4b. Сарказм про «доставку за три недели» почти никто не прочитал как жалобу.

Дальше уже с оговоркой. Из десяти писем qwen3.5:4b после правки инструкции достала 59 полей из 60 и ничего не выдумала, но дату «до пятницы» не посчитал никто. Резюме длинных документов без искажений фактов дала только она же, за 1–3,5 минуты и с активным обменом со диском. Поиск по пяти документам находил нужный фрагмент всегда, ответы 14 из 15 были верными, исключения из правил модели переворачивали. Объявления для Директа уложились в лимит символов только у qwen3.5:4b, и лишь около половины не просили правки фактов. В чистке адресов сильные модели полезны, телефоны лучше отдать коду: номера обнуляли и путали коды стран. У четырёх моделей из девяти строки ответа съехали, и запись досталась чужому клиенту.

Почему это важно

Это не замена облака для чата с клиентом. Это полка для рутины, которую нельзя или не хочется отправлять наружу: разбор писем, черновик объявления, пометки в карточке. Ошибка дорогая не в стиле, а в сдвиге строки: модель «ответила», а данные легли не тому человеку.

Память решает раньше, чем название семейства. Четыре гигабайта с живым веб-интерфейсом не вмещают модель на 4 млрд. Длинный контекст при двух-четырёх одновременных запросах к такой модели убивает процесс, клиент получает ошибку 500, модель грузится заново около 30 секунд. Без падений под нагрузкой выжила qwen3.5 на 2 млрд. Параллельные слоты и ускорение внимания на этих четырёх ядрах пропускную способность не подняли: очередь одна, ждёт каждый дольше. У qwen3.5 параллельные запросы эта сборка Ollama и вовсе не умеет, а память под слоты всё равно резервирует.

На практике

1. Короткую разметку и тональность можно отдать QVikhr или qwen3.5 от 2 млрд. Если модель видит похвалу, а звёзды низкие, отзыв уходит человеку.
2. Даты, телефоны и соответствие строки идентификатору проверяет код. В ответ кладите идентификатор строки.
3. Длинное резюме и ответы по своим документам оставляйте фоном. 40–100 секунд и обмен с диском для чата с клиентом не годятся.
4. Модели на 1 млрд в этих задачах не используйте: предустановленная ошиблась в 7 обращениях из 20 и на вопросы, которых не было в базе, сочинила ответ.
5. Берите от 8 ГБ памяти, держите одну модель загруженной и не гоняйте замер параллельно со скачиванием. Файл подкачки на 4 ГБ с низкой охотой к обмену нужен, иначе ядро убивает модель на 4 млрд на длинном тексте.
6. Рассуждение на процессоре здесь не окупилось. LFM2.5 на 2,6 млрд игнорировала выключение и тратила лимит на внутренний текст, возвращая пустой ответ.

Итог

Дешёвая виртуалка без видеокарты закрывает короткую текстовую рутину, если рядом стоит проверка кодом. Длинный документ, чат и модель «на миллиард» с этой полки уберите.