Qwen 3.8 27B на Cerebras: ~1500 токенів/с
Qwen 3.8 27B на публічних кінцевих точках Cerebras: ~1500 токенів/с, контекст 64k/128k, без прорідження у проді.
Новини для розробників без шуму — My Dev News у Telegram.
Тег
Усі статті блогу з цим тегом.
Qwen 3.8 27B на публічних кінцевих точках Cerebras: ~1500 токенів/с, контекст 64k/128k, без прорідження у проді.
Стенд на vLLM і Blackwell: hit rate кешу 96,9%, відношення вхід/вихід 452:1 і чому свій контур беруть не заради економії.