← Все статьи

Cohere тихо выпустила MoE на 218 млрд параметров для перевода

North Small Translate: 218 млрд параметров, 25 млрд активных, 50 языков. WMT26 83,60 и лицензия CC BY-NC — сигнал эпохи узких промышленных моделей.

Cohere тихо выпустила MoE на 218 млрд параметров для перевода
Содержание

Коротко

9 сентября 2026 Cohere опубликовала заметки к выпуску North Small Translate — открытой по весам модели смеси экспертов, заточенной только под машинный перевод. Всего 218 млрд параметров, на каждый токен активны 25 млрд: 128 экспертов, из них 8 на токен. Оценка WMT26 — 83,60 по проверенным языкам, до 84,36 если модель несколько раз правит собственный текст. Это не очередной чат, а узкий промышленный компонент: 50 языков, веса на Hugging Face под CC BY-NC 4.0, прод — через коммерческую лицензию и Model Vault.

Что произошло

На Dev.to Альберто Монтаньезе разбирает тихий релиз. Модель сначала появилась на Hugging Face за недели до официальной заметки — без большого шоу. Архитектура разреженная: в память вывода не тащат все 218 млрд сразу. Автор подчёркивает железо. Квантование в 4 бита: одна карта NVIDIA B200 или две H100. Полная точность BF16: четыре B200 или восемь H100. Для плотной модели того же размера такой «свой хостинг» обычно нереален; здесь масштаб ещё тяжёлый, но уже в зоне команд с нормальным кластером, а не только лабораторий с тысячами карт.

Перевод — 50 языков, из них 32 «богатых» ресурсом автор выделяет как зону, где качество особенно интересно. Исследователям и некоммерческому использованию хватает открытых весов. Продакшен Cohere ведёт в платную лицензию и своё развёртывание. Взаимодействие ближе к вызову функции, чем к диалогу: текст, целевой язык, готовый перевод — без длинной инструкции и примеров «покажи на двух фразах». В статье есть схематичный фрагмент на Python (это иллюстрация, не копия текущего комплекта средств разработки): клиент, идентификатор модели, массив строк, код языка.

Смесь экспертов здесь — не маркетинговый ярлык, а способ удержать в выводе 25 млрд активных параметров при «витрине» в 218 млрд. Для прикладной команды это значит: счёт за железо ближе к модели среднего размера, а ёмкость — к гиганту, если маршрутизация экспертов работает как заявлено. Именно поэтому в тексте так подробно расписаны карты: без этих цифр 218 млрд звучат как «неподъёмно», с ними — как «кластер из нескольких топовых видеокарт».

Отдельный ход — агентный многопроходный сценарий, когда модель уточняет свой же вывод. Прирост на WMT26 с 83,60 до 84,36 небольшой, но показательный: узкая модель плюс короткий цикл самопроверки, а не «ещё миллиард параметров в общем чате».

Почему это важно

Несколько лет рынок жил общим сюжетом: каждая новая модель должна быть лучшим универсалом. North Small Translate — другой сигнал зрелости. Есть дорогая, измеримая задача (перевод на корпоративном масштабе) — под неё собирают огромную, но узкую смесь экспертов. Сложность прячется в архитектуре, а не в промпте прикладного разработчика.

Для команд с многоязычными продуктами это меняет калькуляцию. Универсальный чат с парой примеров в инструкции дёшев во внедрении и плавает в качестве и стоимости токена. Специалист даёт предсказуемый контракт «строка → строка», ценой железа и лицензии. Тихий релиз тоже культурный: большую модель начинают воспринимать как комплектующее, а не как событие года. Если веса сначала лежат на Hugging Face, а заметка выходит позже, команда может начать оценку до маркетингового шума — и сразу упереться в CC BY-NC, а не в чужую таблицу замеров.

Ещё один практический фильтр — не путать «открытые веса» с «можно в прод». Исследовательский контур и коммерческий Model Vault здесь разведены намеренно. Это ближе к тому, как продают промышленные движки перевода, чем к «скачай и кати в Kubernetes бесплатно».

На практике

  1. Для оценки скачайте веса с карточки North-Small-Translate-1.0 на Hugging Face и гоняйте на своих парах «исходник — эталон», не только на чужом WMT26.
  2. Заложите лицензию заранее: CC BY-NC 4.0 закрывает коммерческий прод; без договора с Cohere веса — только исследование и внутренние пробы.
  3. Считайте железо по квантованию: 4 бита на одной B200 / двух H100 против BF16 на четырёх / восьми картах — до выбора «свой кластер или API».
  4. В коде вызывайте перевод как функцию (текст + целевой язык), а не как свободный чат с длинной системной инструкцией.
  5. Если нужен пик качества на важных языках, отдельно измерьте многопроходное уточнение: плюс к WMT26 есть, цена — лишние токены и задержка.
  6. Не ждите, что 18 «бедных» из 50 языков дадут ту же картину, что 32 богатых; проверяйте хвост отдельно.

Итог

North Small Translate показывает, куда идёт прод: огромные узкие модели, разреженность вместо «все параметры всегда», лицензия исследования отдельно от коммерции. Смотреть стоит не только на чат-универсалов. Для перевода у Cohere появился компонент с понятным контрактом, тяжёлым, но достижимым железом и тихим выходом на Hugging Face.