Qwen 3.8 27B на Cerebras: ~1500 токенов/с
Qwen 3.8 27B на публичных конечных точках Cerebras: ~1500 токенов/с, 64k/128k контекст, без прореживания в проде.
Новости для разработчиков без шума — My Dev News в Telegram.
Тег
Все статьи блога с этим тегом.
Qwen 3.8 27B на публичных конечных точках Cerebras: ~1500 токенов/с, 64k/128k контекст, без прореживания в проде.
Стенд на vLLM и Blackwell: hit rate кэша 96,9%, отношение вход/выход 452:1 и почему свой контур берут не ради экономии.