清华发布的 ChatGLM-6B 模型看起来效果蛮不错的，硬件需求也还能接受。
打算自己部署一个，做点商业化应用提供些 AI 服务。
目前初步预估的能够并发生成 100 封 1000 个单词邮件（算上 prompt 的话预计平均是在 500 个 token 左右）。或者更少一点也没关系。
不知道有没有什么比较好的方案可以选择，是本地搞硬件部署还是租 GPU 服务器比较方便？
清华发布的 ChatGLM-6B 模型看起来效果蛮不错的，硬件需求也还能接受。
打算自己部署一个，做点商业化应用提供些 AI 服务。
目前初步预估的能够并发生成 100 封 1000 个单词邮件（算上 prompt 的话预计平均是在 500 个 token 左右）。或者更少一点也没关系。
不知道有没有什么比较好的方案可以选择，是本地搞硬件部署还是租 GPU 服务器比较方便？
Select Language