GPT-3.5(ChatGPT)训练和部署成本估算
参考出处 GPT-3.5(ChatGPT)训练和部署成本估算 和 不靠谱的 成本估算
后者只考虑算力的 TFLOPs, 所以 一块A100, 同时支持 15万用户
前者计算 GPT-3 也是只考虑算力, 没太关注显存(真同时还是可能撑爆显存), 2195块A100满足1300万人的访问需求, 1300/2195 ~ 5922 人。
Enjoy Reading This Article?
Here are some more articles you might like to read next: