GPT-3.5(ChatGPT)训练和部署成本估算

参考出处 GPT-3.5(ChatGPT)训练和部署成本估算 和 不靠谱的 成本估算

后者只考虑算力的 TFLOPs, 所以 一块A100, 同时支持 15万用户

前者计算 GPT-3 也是只考虑算力, 没太关注显存(真同时还是可能撑爆显存), 2195块A100满足1300万人的访问需求, 1300/2195 ~ 5922 人。




Enjoy Reading This Article?

Here are some more articles you might like to read next:

  • 教师手机或平板控制电脑,当翻页笔用甚至写字
  • docker GPU报错
  • Ollama下载模型路径存储位置及权限
  • 将HF模型转GGUF格式用于Ollama
  • 硕博面试小建议——讲好故事