Зміст
Коротко
На Хабрі (Bothub) розбирають парадокс агентних систем: моделі дешевшають, а задачі закриваються гірше. Полегшені версії приваблюють ціною за токен, але часто роблять у рази більше викликів інструментів, крутяться в циклах і роздувають рахунок. Автор пропонує міряти не прайс за мільйон токенів, а вартість закритої задачі, ефективність викликів інструментів і частку провалів.
Що сталося
Провайдери стискають моделі (дистиляція, квантування, проріджування), щоб обслужити вибуховий попит на тих самих потужностях. На коротких тестах на кшталт MMLU розрив «майже як у флагмана» виглядає переконливо. Для агента критичні планування й стійкість у багатокрокових сценаріях — саме те, що ріжеться першим.
Типовий приклад: знайти файл, витягти дані, надіслати звіт. Сильна модель закриває трьома кроками; дешева — пошуком, зневадженням і зайвими скриптами, доки токени й час не з’їдять «економію». Окремо автор б’є по порівняльних тестах: забруднення навчальних даних, насичення старих наборів, слабкий зв’язок із корпоративними конвеєрами (у стенді EnterpriseOps-Gym топові моделі закривали лише близько третини–половини реальних сценаріїв).
Прихована мито посилюється збоями кешу префікса: кожна нова відповідь інструмента трохи змінює контекст — влучання в кеш падає, вхід перечитується знову.
Чому це важливо
Команди обирають модель за таблицею «дешевше і майже так само». В агентному продукті це перетворюється на дорогий скрипт з імітацією діяльності. Аналітики Gartner уже прогнозують масові скасування агентних проєктів через ескалацію витрат і слабкий контроль ризиків — саме там, де сукупну вартість володіння агентом ніхто не рахував.
На практиці
- Зберіть міні-набір своїх продакшен-сценаріїв і проженіть кандидатів багаторазово (агенти недетерміновані).
- Рахуйте вартість закритої задачі з усіма повторами, ефективність викликів інструментів і частку провалів — не лише ціну за мільйон токенів.
- Логуйте кожен крок агента: без трасування не видно, де дешева модель плодить зайві ітерації.
- Не довіряйте одному прогону й одному лідерборду: дивіться медіану й розкид.
- У багатоагентних ланцюжках пам’ятайте: помилка на кроці множиться; «98% на агента» ≠ надійність системи.
Підсумок
Дешевий токен ≠ дешевий агент. Поки ви не міряєте шлях до закритої задачі, «оптимізація» моделі лишається маркетингом. Стаття — корисний каркас метрик до наступного даунгрейду в проді.