基于开源的模型微调，然后用 docker 打包模型和代码，去云服务商买 GPU 去跑吗 这个成本应该很高吧，特别是前期用户少的时候？
举个例子，有一个 PDF 内容大纲提取总结的 AI 服务，希望能给 100 人公司用，这个成本多大
8 条回复 • 2024-10-30 12:56:13 +08:00
 |
1
gaobh 22 天前
有钱就行，200W 起
|
 |
2
dayeye2006199 22 天前 via Android  1
创业企业买什么 GPU ，先 API 用着弄明白怎么赚钱再来研究这事儿
|
 |
3
Hookery 22 天前
成本需要考虑到并发量，提取总结的智能程度要求，以及是否上云。
|
 |
4
paopjian 22 天前
初创企业还敢玩自研 AI?你都没证,直接买服务去
|
 |
5
dododada 22 天前
你 pdf 的模型要多大显存呢？看下需求呗，24 以内就考虑 4090 ，48 以内考虑 3090 ，或者 a6000 ，48 以上考虑 6000a ，3W-20W 不等，平摊到 100 个人，人均 300-2000 ，大概可以干到公司倒闭。
上云的话，算一下每天的成本就行了 |
 |
6
crackidz 22 天前
买现成 API 都行啊...为啥搞这么重
非得这么重的话，可以考虑 serverless 部署，没人用的时候进行销毁，有人用的时候创建，就完了... |
 |
7
makerbi 22 天前
1. 微调的目的是什么？是否必须微调？没有经验的情况下微调只会耗费大量资源而且降低模型本身的能力。能用提示词搞定的就优先用提示词。如果要求是能问答企业内部知识的场景，考虑 RAG 是否可以完成？
2. 考虑并发会到多少？并发数直接影响到你需要的显卡资源数量。按我观察的经验来看，大部分企业员工在应用 AI 这件事情上尝鲜的程度多于真正日常使用的程度，也就是说部署一个并发数在个位数的服务就完全绰绰有余了。 3. 如果不是严格要求私有化部署的情况下，使用公有服务是最优选择。 4. PDF 总结也有很多种做法，显存资源不够的情况下对应的就是上下文长度较小，那就分块总结再合并总结，也能完成任务。 |
 |
8
fffq 22 天前
GPT Wrapper
|
Select Language