V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mythabc  ›  全部回复第 3 页 / 共 38 页
回复总数  743
1  2  3  4  5  6  7  8  9  10 ... 38  
218 天前
回复了 dododada 创建的主题 程序员 AI 服务器配置在线推荐
没那么复杂,因为没有几款可以选的

GPU: NVIDIA ampere 、ada lovelace 、hopper 架构的工作站卡、数据中心卡,techpowerup 的 GPU 数据库里面筛选一下就出来了,但是里面的算力不是很准确,要搜 NVIDIA 的官方参数。常见的训练卡 A100/H100 。 推理 4090 、A6000 、A40 等。
连接性要考虑上不上 nvlink 、nvSwitch 。前者只能连接两张卡,后者用在 HGX 平台一出手就是八张卡。

CPU 就志强三代、四代。AMD 宵龙。cpubenchmark 上看个单线程、多线程跑分。
大多数 ai 应用都是在玩提示工程,这个还是要会的。
移动互联网时代也不是所有参与者要知道移动终端怎么做的,手机通信是什么原理。
简单低门槛和好找工作是矛盾的。
目前就业市场程序员供大于求,简单低门槛意味着竞争者多,那工作就不好找。
226 天前
回复了 weishao666 创建的主题 问与答 关系型数据库的数据喂给大模型?
你知道 text-to-sql 吗?
以前做数据平台的厂商,基本都用 LLM 做了各类 chat copilot ,实现对话取数了。

举个栗子:gbi.cloud.baidu.com
227 天前
回复了 keepRun 创建的主题 程序员 用了下秘塔 ai,感觉有点东西啊
你再试试 perplexity.ai
229 天前
回复了 Ta0Ta0Ta0 创建的主题 问与答 求助!讨论下 AI 的课题选择
公司现在除了大模型的岗位在招人,其他所有岗位都在裁员。

你管他能不能实现 AGI
238 天前
回复了 flypei 创建的主题 汽车 雷布斯 正在发布 小米 SU7
苹果生态支持点赞啊。

另外这个 1.8B 的大模型能达到 demo 里的效果吗?有点怀疑
恭喜你已开出盲盒奖品为阿里云社区积分 100 个(一分钟后生效)。分享更多好友参与,有机会赢取 iPhone15 、机械键盘等大奖!
顺带一提:我比较极限,把以上配置塞进了 SSUPD 里,一个 15L 体积的机箱。
本地只能跑跑推理和 7B lora 训练。更大规模的训练可以选择租 A100
我的配置是:
GPU:4090D 虽然是 dog 版,但是目前 4090D 的性价比是比 4090 高的。
板 U 内存:B550I + 5800X + 2 *32G 以前攒的,跑大模型对 CPU 要求不高,内存要注意有一些步骤,比如 lora 合并、量化会使用内存,如果内存太小可能就跑不起来,64G 是需要的。

电源散热机箱:根据自己需求配把。

主要成本还是显卡。
19.99 基础款(实际没有库存,只是压价)
23.99 走量款
36.99 高端梦想款
257 天前
回复了 struggletoday 创建的主题 职场话题 应聘顺丰收派员后,混沌的一周
以前做什么工作?
257 天前
回复了 yukiyama 创建的主题 Apple 新款 M3 MacBook Air 到底该买什么配置?🤔
M2 24+512 > M3 16 + 512
257 天前
回复了 yukiyama 创建的主题 Apple 新款 M3 MacBook Air 到底该买什么配置?🤔
24+512 ,16 内存根本不够用
来看看我凤雏的作品:
工商银行取得「基于 Spring Boot 的 web 系统后端实现方法及装置」专利


www.oschina.net/news/279004
286 天前
回复了 u123 创建的主题 问与答 宗教之外健康人不喝酒的正当理由
不喝酒还要找理由?爷才不惯着你
287 天前
回复了 cmonkey 创建的主题 硬件 运行 LM Studio 的电脑硬件配置
一步到位 4090 。其他卡都是勉强跑起来,你会不断花时间在纠结这破卡是不是该换了。
不要只看 int4 的模型最低的显存占用,prompt token 上去以后显存占用会暴增,平方关系。
295 天前
回复了 echo0x000001 创建的主题 生活 你们喜欢过年吗?
小时候觉得过年很有氛围,其乐融融。
长大了经历了很多事,觉得很多的亲情充满了虚伪,就不喜欢过年了。就当是扣了调休多放三天假。
在农历新年将至的时间里,我决定扮演两周回民,不过春节。
1  2  3  4  5  6  7  8  9  10 ... 38  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1411 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 17:21 · PVG 01:21 · LAX 09:21 · JFK 12:21
Developed with CodeLauncher
♥ Do have faith in what you're doing.