Что произошло

Представьте кухню, где каждый раз с нуля готовят одно и то же блюдо, стоит гостю чуть иначе сформулировать заказ. С LLM так же: один и тот же смысл уходит в API снова и снова, а флагманская модель отвечает на приветствия и ярлыки по цене сложного рассуждения.

Автор на Dev.to сводит экономию к трём привычкам, а не к поиску «самой дешёвой» модели. Семантический кэш хранит недавние ответы по смыслу запроса, а не по точному тексту: перефразированный вопрос попадает в кэш. Отдельно провайдеры билят общий префикс (системную инструкцию) один раз — это другой слой экономии при повторе одной и той же «шапки».

Второй рычаг — маршрутизация. Классификация, короткая выжимка, метки, простое извлечение хорошо живут на мелкой модели; флагман оставляют под код, краевые случаи и многошаговое планирование. Часто это самый крупный структурный выигрыш: меняется не цена токена, а сколько дорогих токенов вы вообще покупаете. На объективных пакетах (метки, извлечение), где качество легко проверить, маршрутизация особенно окупается.

Третий рычаг — дисциплина токенов. Не слать весь разговор и весь документ на каждый ход. Ограничивать длину ответа: выход обычно дороже входа. Убирать из системной инструкции правила, которые ничего не дают. Короткий контекст с высоким сигналом плюс контролируемый ответ — самая дешёвая правка, и для неё не нужен новый инструмент.

Четвёртый шаг сам по себе не экономит, но без него остальные бьют мимо: логировать модель, число токенов и стоимость по функции или команде. Иначе вы «оптимизируете всё подряд», а счёт ест фоновая задача на флагмане или чат, который каждый ход тащит десять тысяч токенов контекста.

Почему это важно

Счёт за LLM почти никогда не равен прайсу за миллион токенов в таблице. Он равен тому, что вы шлёте и как часто повторяете одно и то же. Команды часто первым делом меняют модель и принимают риск качества — хотя дешёвые рычаги уже лежат на поверхности и держатся дольше, чем переход на более слабую модель.

Диагноз важнее набора приёмов. Если в счёте доминирует тысячекратный повтор одного вызова — это задача кэша. Если редкие, но тяжёлые агентные сценарии — маршрутизация и выбор модели. Кэш на частых коротких вопросах не спасёт синхронизацию, где на каждый объект гоняют дорогой анализ.

Сильный проект по стоимости — это цикл, а не один приём. Месяц логов, бюджетный флаг на трёх самых дорогих функциях, затем кэш, маршрут и усечение по тем местам, куда указывают цифры. После нескольких кругов счёт перестаёт быть загадкой и становится строкой с причиной.

На практике

Порядок тот же, что на кухне: сначала не готовьте заново то, что уже есть, потом не зовите шефа на салат, потом не тащите на стол весь склад — и только потом спорьте, нужен ли другой шеф.

1. Месяц логируйте каждый вызов: модель, токены, стоимость, привязка к функции или команде. Найдите три самые дорогие линии.
2. Для чатов и частых вопросов включите семантический кэш по смыслу и кэш префикса у провайдера, если системная инструкция длинная и стабильная.
3. Поставьте маршрутизатор намерений: метки, приветствия и короткие выжимки — на мелкую модель; код, рассуждение, планирование агента — на флагман.
4. Режьте утечки: релевантные фрагменты вместо всего документа, жёсткий лимит на длину ответа, короткая системная инструкция без мёртвых правил.
5. Только после замеров и трёх рычагов выше сравнивайте более слабую модель — и меряйте не прайс токена, а стоимость закрытой задачи.

Итог

Дешёвый токен не спасает раздутый контекст и тысячу одинаковых ответов. Счёт режут кэш дублей, маршрут «простое — на дешёвое» и короче/тише токены — в этом порядке. Когда каждая строка счёта объясняется числом, слабая модель становится осознанным компромиссом, а не паникой по прайсу.