GPT-3.5(ChatGPT)训练和部署成本估算

参考出处 GPT-3.5(ChatGPT)训练和部署成本估算 和 不靠谱的 成本估算

后者只考虑算力的 TFLOPs, 所以 一块A100, 同时支持 15万用户

前者计算 GPT-3 也是只考虑算力, 没太关注显存(真同时还是可能撑爆显存), 2195块A100满足1300万人的访问需求, 1300/2195 ~ 5922 人。




Enjoy Reading This Article?

Here are some more articles you might like to read next:

  • 教师手机或平板控制电脑,当翻页笔用甚至写字
  • 硕博面试小建议——讲好故事
  • Docker如何用上宿主机的Clash代理
  • 独显用于深度学习运算,核显用于屏幕显示
  • 关于英语的乱想法