Що сталося

Уявіть кухню, де щоразу з нуля готують ту саму страву, варто гостю трохи інакше сформулювати замовлення. З LLM так само: один і той самий зміст іде в API знову й знову, а флагманська модель відповідає на вітання й мітки за ціною складного міркування.

Автор на Dev.to зводить економію до трьох звичок, а не до пошуку «найдешевшої» моделі. Семантичний кеш зберігає недавні відповіді за змістом запиту, а не за точним текстом: перефразоване питання потрапляє в кеш. Окремо провайдери білять спільний префікс (системну інструкцію) один раз — це інший шар економії при повторенні тієї самої «шапки».

Другий важіль — маршрутизація. Класифікація, короткий витяг, мітки, просте витягання добре живуть на дрібній моделі; флагман лишають під код, крайові випадки й багатокрокове планування. Часто це найбільший структурний виграш: змінюється не ціна токена, а скільки дорогих токенів ви взагалі купуєте. На об’єктивних пакетах (мітки, витягання), де якість легко перевірити, маршрутизація особливо окупається.

Третій важіль — дисципліна токенів. Не слати всю розмову й увесь документ на кожен хід. Обмежувати довжину відповіді: вихід зазвичай дорожчий за вхід. Прибирати з системної інструкції правила, які нічого не дають. Короткий контекст із високим сигналом плюс контрольована відповідь — найдешевша правка, і для неї не потрібен новий інструмент.

Четвертий крок сам по собі не економить, але без нього решта б’є повз: логувати модель, число токенів і вартість за функцією чи командою. Інакше ви «оптимізуєте все підряд», а рахунок їсть фонова задача на флагмані або чат, що кожен хід тягне десять тисяч токенів контексту.

Чому це важливо

Рахунок за LLM майже ніколи не дорівнює прайсу за мільйон токенів у таблиці. Він дорівнює тому, що ви шлете і як часто повторюєте те саме. Команди часто першим ділом міняють модель і приймають ризик якості — хоча дешеві важелі вже лежать на поверхні й тримаються довше, ніж перехід на слабшу модель.

Діагноз важливіший за набір прийомів. Якщо в рахунку домінує тисячократне повторення одного виклику — це задача кешу. Якщо рідкісні, але важкі агентні сценарії — маршрутизація й вибір моделі. Кеш на частих коротких питаннях не врятує синхронізацію, де на кожен об’єкт ганяють дорогий аналіз.

Сильний проєкт за вартістю — це цикл, а не один прийом. Місяць логів, бюджетний прапорець на трьох найдорожчих функціях, далі кеш, маршрут і стиснення там, куди вказують цифри. Після кількох кіл рахунок перестає бути загадкою й стає рядком із причиною.

На практиці

Порядок той самий, що на кухні: спочатку не готуйте заново те, що вже є, потім не кличте шефа на салат, потім не тягніть на стіл увесь склад — і лише тоді сперечайтеся, чи потрібен інший шеф.

1. Місяць логуйте кожен виклик: модель, токени, вартість, прив’язка до функції чи команди. Знайдіть три найдорожчі лінії.
2. Для чатів і частих питань увімкніть семантичний кеш за змістом і кеш префікса в провайдера, якщо системна інструкція довга й стабільна.
3. Поставте маршрутизатор намірів: мітки, вітання й короткі витяги — на дрібну модель; код, міркування, планування агента — на флагман.
4. Ріжте витоки: релевантні фрагменти замість усього документа, жорсткий ліміт на довжину відповіді, коротка системна інструкція без мертвих правил.
5. Лише після замірів і трьох важелів вище порівнюйте слабшу модель — і міряйте не прайс токена, а вартість закритої задачі.

Підсумок

Дешевий токен не рятує роздутий контекст і тисячу однакових відповідей. Рахунок ріжуть кеш дублів, маршрут «просте — на дешеве» і коротші/тихіші токени — у цьому порядку. Коли кожен рядок рахунку пояснюється числом, слабка модель стає свідомим компромісом, а не панікою через прайс.