Що сталося

Сервер у Justhost: Intel Xeon Gold 6148, доступно близько 3,8 ГБ, Ubuntu 24.04, Ollama 0.35 і Open WebUI в Docker. Вебінтерфейс сам їсть близько гігабайта, тож моделі на 4 млрд параметрів запускали вже без нього. Образи Docker зайняли близько 13 ГБ ще до першої моделі. Назовні модель не стирчить: до неї ходять через ключ інтерфейсу.

У прогоні були llama3.2 на 1 млрд (модель із шаблону; Meta визнана в РФ екстремістською і заборонена), gemma3 на 1 і 4 млрд, qwen3.5 на 2 і 4 млрд, granite4, дві LFM2.5 і донавчена на російській QVikhr-3-4B. Квант переважно Q4_K_M. Умови однакові: один запит, температура 0, зерно 42, структурна відповідь за схемою, міркування вимкнене там, де воно вимикається. Дані синтетичні, крамниця електроніки, не менше третини прикладів із пастками: сарказм, два телефони, скасоване по ходу наради рішення, «до п’ятниці» замість дати.

Короткі задачі витягли моделі від 2 млрд. Класифікація 20 звернень: QVikhr розмітила всі, близько 3,5 секунди і порядку 950–1000 запитів на годину. qwen3.5 на 4 млрд теж без помилок, але приблизно втричі повільніше, бо щоразу заново читала системний текст. Тональність: 22 із 24 у QVikhr і qwen3.5:4b. Сарказм про «доставку за три тижні» майже ніхто не прочитав як скаргу.

Далі вже з застереженням. Із десяти листів qwen3.5:4b після правки інструкції дістала 59 полів із 60 і нічого не вигадала, але дату «до п’ятниці» не порахував ніхто. Резюме довгих документів без спотворень фактів дала лише вона, за 1–3,5 хвилини і з активним обміном із диском. Пошук по п’яти документах знаходив потрібний фрагмент завжди, відповіді 14 із 15 були вірні, винятки з правил моделі перевертали. Оголошення для Директа вклалися в ліміт символів лише в qwen3.5:4b, і лише близько половини не просили правки фактів. У чищенні адрес сильні моделі корисні, телефони краще віддати коду: номери обнуляли і плутали коди країн. У чотирьох моделей із дев’яти рядки відповіді з’їхали, і запис дістався чужому клієнту.

Чому це важливо

Це не заміна хмари для чату з клієнтом. Це полиця для рутини, яку не можна або не хочеться відправляти назовні: розбір листів, чернетка оголошення, позначки в картці. Дорога помилка не в стилі, а в зсуві рядка: модель «відповіла», а дані лягли не тій людині.

Пам’ять вирішує раніше, ніж назва родини. Чотири гігабайти з живим вебінтерфейсом не вміщують модель на 4 млрд. Довгий контекст при двох-чотирьох одночасних запитах до такої моделі вбиває процес, клієнт отримує помилку 500, модель вантажиться знову близько 30 секунд. Без падінь під навантаженням вижила qwen3.5 на 2 млрд. Паралельні слоти і прискорення уваги на цих чотирьох ядрах пропускну здатність не підняли: черга одна, чекає кожен довше. У qwen3.5 паралельні запити ця збірка Ollama і зовсім не вміє, а пам’ять під слоти все одно резервуватиме.

На практиці

1. Коротку розмітку і тональність можна віддати QVikhr або qwen3.5 від 2 млрд. Якщо модель бачить похвалу, а зірки низькі, відгук іде людині.
2. Дати, телефони і відповідність рядка ідентифікатору перевіряє код. У відповідь кладіть ідентифікатор рядка.
3. Довге резюме і відповіді за своїми документами лишайте фоном. 40–100 секунд і обмін із диском для чату з клієнтом не годяться.
4. Моделі на 1 млрд у цих задачах не використовуйте: встановлена з шаблону помилилася в 7 зверненнях із 20 і на питання, яких не було в базі, вигадала відповідь.
5. Беріть від 8 ГБ пам’яті, тримайте одну модель завантаженою і не ганяйте замір паралельно зі завантаженням. Файл підкачки на 4 ГБ з низькою охотою до обміну потрібен, інакше ядро вбиває модель на 4 млрд на довгому тексті.
6. Міркування на процесорі тут не окупилося. LFM2.5 на 2,6 млрд ігнорувала вимкнення і витрачала ліміт на внутрішній текст, повертаючи порожню відповідь.

Підсумок

Дешева віртуалка без відеокарти закриває коротку текстову рутину, якщо поруч стоїть перевірка кодом. Довгий документ, чат і модель «на мільярд» із цієї полиці приберіть.