思路都是错的，cpu 应该搞最便宜的 xeon 几十块搞定，然后买多 pci 主板，把资金都扑到显卡上。

主要是你显存太少了。

4 个月，我享受飘逸的长发。

@jiejianshiwa 老弟，不要怂，就是刚。当年我是你这个年纪的时候在广州纵横披靡，怕个卵，年轻人就是冲就是闯。另外，个人经验是尽量不要给私人小老板干，有大团队尽量去大团队。因为大团队里的成本不是个人的，不会像小老板那样把钱花到刀刃上的精打细算。

老弟，北京 28 岁 6k ，还结婚了，你是我大哥。赶紧了背点八股文找下家啊。28 岁正当道，正是赚钱的时候，多面多谈，技术要多吹，工资要岗位所能给出的顶格。

中电金信？

@hkiJava int 4 24g vram 刚刚够跑，但是上下文和推理过程长点就要更多了。fp16 我还没试，估计要准备 96g vram 。

电费都够你们成本喝一壶了。

或者你把嵌入模型 改成 granite3.2-vision ，然后看看情况。

anythingllm 原生的嵌入模型 all-MiniLM-L6-v2 不是多模态的，并且也没有提到 vision 模型的集成，ds 的 671b 是 moe 专家模型，里面有原生 vision 处理的能力。

qwq 32B int 4 + bge-m3 ，并发不大的话 32G vram 够够的。不过得分卡跑。

@skytenlc 直接就在翻译出来的中文文档里编辑就 ok 啊。

本地部署 qwq 32b fp16 强的一笔。

@skytenlc 沉浸式翻译 可以编辑翻译出来的中文的。

按照你的思路，都是 agent 可以做到的，等你自己开发一个出来了。

1 ，肯定是搜，这个技术并不难。等我过几天写一篇详细的博客，纵观全网都没有把这个问题详细系统的讲一下的。
2 ，但是用的搜索引擎可能不同，就算是同一个关键字（有些提示工程做的好，只有本地知识库没有的才去搜，但是搜的关键字都是 llm 自己提供的，每个 llm 每次可能会丢出不同的关键字），用并发去多个搜索引擎跑 2 次，2 次的 top10 结果可能都不同。这个你可以理解哈？往往为了节省资源可能都是并发跑一次，然后聚合一下，至于聚合多少 url ，这个要看各自的 config 。
3 ，快是必须的，能套壳 ds 的厂家的资源解决 search/crawl/embedding 这种简单套路还不是手到擒来，要是搞的慢才丢人。
4 ，和这个无关。

把所有钱都去高档会所花掉。

这都是小问题，最大的问题是回款。