Що сталося

Тексти перекладали російською з англійської, іспанської, китайської та івриту. У звичайному наборі були новина WSJ, стаття PubMed, документація ядра, тред із коментарями, сучасна проза, вірші Лорки, розділ Амоса Оза. Окремий стрес-набір: Бен Сіра, релігійний уривок, кабала, старі китайські медичні й даоські тексти і розділ «Поминок за Фіннеганом». Кабала виявилася найважчою: локальні моделі на ній просіли.

Фіналістів автор лишив небагато. Qwen3.8 Flash-Next (суміш експертів, близько 125 млрд ваг і приблизно 7 млрд активних) лідирує за якістю: англійська 87,6, іспанська 92, китайська 88, іврит 90, класичний іврит 81 і на 8 балів попереду наступної моделі. Їй треба 80–95 ГБ пам’яті плюс відеокарта. Квант IQ4_XS ішов близько 15 токенів на секунду, легший IQ3_XXS — близько 21, різниця оцінок у межах шуму. Художній текст без окремої редактури в неї середній. Режим міркування на відкладених класичних китайських текстах лишав у відповіді неперекладені шматки.

Gemma 4 31B краще за всіх пише російською і піднімає слабкий чернетку на 5–14 балів, але на цій машині дає близько 6–7 токенів на секунду: половина шарів сидить в оперативній пам’яті. Gemma 4 26B в офіційному кванті QAT Q4 цілком вміщується в 16 ГБ і йде приблизно на 113 токенів на секунду, на звичайному тексті й сторінках набираючи 80–88. На класиці вона розвалюється: класичний іврит близько 49, класична китайська близько 54. Index Translate 35B сильніша за інших на класичній китайській (близько 80 у Q8) і годиться як швидкий чернетка під редактуру 31B. Менші моделі й вузькі перекладацькі варіанти автор відсіяв на ранніх етапах.

Чому це важливо

Швидкість і якість тут не одна вісь. Сторінку в браузері не можна чекати хвилину, книжку можна лишити на ніч. Карта на 16 ГБ не дорівнює «модель на 16 ГБ»: лідер за змістом живе в оперативній пам’яті, а на відеокарті крутяться шари експертів. Якщо пам’яті 32 ГБ, цей лідер вам просто не запуститься, хоч якою була б оцінка 92 з іспанської.

Судді самі хмарні моделі, еталон теж. Це порівняння локального перекладу з Claude, а не з живим перекладачем. Автор прямо пише, що стилістику складної прози і місцеві реалії моделі досі не тримають, а хмарні версії поки сильніші на книжках. Локальний контур потрібен там, де канал можуть закрити через бюджет, правила чи права.

На практиці

1. Для сторінок і звичайного тексту на цій карті дивіться Gemma 4 26B у кванті, який цілком на графічному процесорі. Міркування додає близько півтора бала і розтягує час у чотири-п’ять разів.
2. Для якості, якщо є 80–95 ГБ пам’яті, лишіть Qwen3.8 Flash-Next. Інструкція російською на класичних текстах дала близько п’яти балів. Міркування допомогло не скрізь: на відкладеній класичній китайській провалилося.
3. Художній текст женіть чернеткою і окремим проходом Gemma 4 31B. Офіційний англійський системний текст зі стильовою інструкцією в неї виявився кращим за російську інструкцію і «художній» семплер.
4. Класичну китайську віддайте Index Translate, короткими фрагментами. На івриті фрагмент у тисячу токенів модель переклала лише в кінці. Шматки по 300–600 токенів це полагодили.
5. Не чекайте, що локальна модель замінить хмару на книжці, яку ви збираєтеся продавати. Автор для такої мети сам лишає хмарні моделі.

Підсумок

На скромній ігровій карті локальний переклад уже годиться, щоб зрозуміти сторінку і чернетку. Лідер якості — це велика модель в оперативній пам’яті, а не «те, що влізло в 16 ГБ». Класика і кабала досі ламають навіть фіналістів.