歪路子两个：
1.如果只求跑模型，作图或者 LLM ，有些便宜到可疑的专跑模型的 GPU 选择
不求模型的推理速度快，只求能装进 vram 而不是 load 到内存让 CPU 去跑
可选 GPU：
nvidia a2000 12G ，新卡软妹币 3500 左右
nvidia tesla m40/m60/p40...软妹币 500~1500 上下

除了 a2000 丽台还在产，后面的卡市场上鱼龙混杂，基本只能买到拆机卡或者矿卡，而且注意它们还没有视频输出口（ a2000 有 minidp 口）

这些基本只能跑 ai ，不能拿来玩游戏，tesla 卡你还得备上大电源，再拿着专门的风扇/空调对着吹来压温度
反正价格低带来的是往死里折腾

2. 好 U 配大内存（ 64G+ ram ），配张单卡 4060/4070ti 够用就行
因为就算是 llama3.1 70b 这种 39 个 G 的大模型，不降模型精度，单卡就算是 4090 照样不够用，堪称 a100 （软妹币 8W+）之下众生平等（但如果要双显卡，就还是上面 1.的话题了）
而模型一旦 load 一部分到内存，推理时 GPU 的闲置时间百分比直线上升，瓶颈都跑到 CPU 去了。
我之前测试过，llama3.1 70b 原始精度，在 64GB ddr4 3200MHz 内存加持下，cpu 11700K 可以跑出每秒 1.1 个左右的 token ，将就凑合玩儿。所以如果 CPU 好一些，甚至你上双 u 主板/服务器主板让更多的 u 一起跑，那么这种 70b 乃至更大一点的模型也能用（ 3+token/s ）。关键就是，内存要管够

感谢分享，挺好的，虽然不够一条 docker 命令那么快，但可以白嫖赛博善人的 worker

本来还想说一直持有拿着呗还能怎样
结果居然还有融资，还会爆仓
好似吔！

史上所有搞期货外汇搞杠杆梭哈最后想不开跳楼的，临行前一段都是这么个玩法
楼主你大概压的筹码还小，这点事捱一捱，撑死背个几年债就过去了呗

只能说人类的本质在这一刻真是全球相通

@sited #25 chrome v 127.0.6533.89
用的无任何插件的无痕模式依然是图片里那样的

站是好站，但审美有种上世纪维基百科的美...我直说了，丑到眼睛了！
你搞个极简的没有任何渐变背景和双色栏目的主体都行，现在这是啥啊！没开任何插件现在下面两图的效果，拉到页面底部更是没眼看
https://i.imgur.com/b8wI2zC.png https://i.imgur.com/NpFgdCt.png
你还是请个 UI 设计吧，国内平台找不到靠谱的就 upwork 、freelancer 上随便开个标都行......

很正常
现在消费降级，资本居然还看上了工位经济，就是打工人自己给自己工位装修得小资又别致。搁以前这种赚钱效率低到离谱的市场资本看都不看一眼。

虽然我以前也大差不差，但我还是必须说，自备办公设备，自备咖啡茶水，自觉加班的，都是天选打（牛）工（马）人

偏个题
不知道有没有尝试过 mem0 ，说是要给 llm 加额外记忆层，不同于 RAG 技术
https://github.com/mem0ai/mem0

@codehz #50 哈哈
请务必记住你现在对 AGI 的质疑🐶

你对待这个变更的流程和态度是对的。

至于耗时费力，这其实暴露了 [现有的代码框架、工具、流程/你们使用的代码框架、工具、流程，无法很好地穿透单个变量的计算流程，以做到明晰化]

我以前就遇过这种问题，一个变量被引用来引用去，在各个类里继承来继承去，每次引用/继承还附带不知道多少道的转手解释或者过渡用计算。最后整个计算流程散落在 N 个人负责的不同子项目里，问谁谁都不懂这玩意儿咋来的，谁都不知道全局。
除非有完整经历以上所有过程的 code review 的总项目负责人，否则这就是个禁忌的薛定谔猫箱，谁都不敢打包票我输入进去啥，出来的对应玩意儿能按照我理解的概率可能来分布。

何解？
试想一下，现在有了 AI ，或者以后有了 AGI ，每次这种 引用+后继计算 时，都有一个 AI 来总结计算内容、计算逻辑、变量来源、变量边界条件、输入输出范围、输入输出意义，那么变成上面这种烂摊子的几率就会小很多