V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  coefu  ›  全部回复第 3 页 / 共 62 页
回复总数  1237
1  2  3  4  5  6  7  8  9  10 ... 62  
6 月 17 日
回复了 xiaolucha 创建的主题 职场话题 求助, offer 二选一,纠结中...
@xiaolucha 别搞笑了,你这份外包之后,还能不能再找到工作都是问题,就不要考虑什么以后了吧,当前最优抉择就是当前的利益最大化。这都看不明白,你在数据领域搞的这些年都在搞什么,自己对世界的认知一点都没提升啊。
6 月 16 日
回复了 langhuishan 创建的主题 程序员 现在 AI 编程聪明得令人后背发凉。
每天 vibe coding 很多没有任何商业价值的乐色,有什么用。
这么点成本的投入给公司集体用?就 amd 这机器的 umem 带宽,你自己一个人用都慢的无法接受,还给集体并发用,想什么呢。公司机器用没有个几百万的投入,都不用开始。
6 月 16 日
回复了 hotoh521 创建的主题 程序员 游戏行业最好的 AI 编程大模型
@hotoh521 我当然知道,我是说,你这个切入角度,是有商业价值的。
6 月 16 日
回复了 hotoh521 创建的主题 程序员 游戏行业最好的 AI 编程大模型
@yu6564172 你这个也有搞头,但是 命题太大了,比 OP 的这个盘子还大。你搞钱招人都不一定搞得定。
6 月 16 日
回复了 hotoh521 创建的主题 程序员 游戏行业最好的 AI 编程大模型
你这个有搞头的,可以搞钱做大,目前好像没看到这种集成方案,毕竟有点领域交叉。
当然是花钱买厂商 api ,厂商怎么计算 token 消耗量,还不是它们说了算,至于为什么要消耗那么多?不多空转几个逻辑让你充值,你以为厂商搞慈善啊,数据中心怎么回本?

什么,你说数据安全?你搞的那些项目有什么现实实际意义吗?厂商还嫌你上传的数据可能污染它们的训练数据呢,还讲什么数据安全,每天能用厂商 api vibe coding 的项目,保守点 90% 的 application ,你自己会掏钱用吗?
6 月 16 日
回复了 davidyin 创建的主题 Local LLM 配置 kiro 的问题
我记得你之前 3 月份不是问过一样的问题吗? 3 个月了还没搞定?我都和你说了 Cline+vscode ,Cline 填 ollama 都 openAI api 就行了。哥们儿,有点儿菜了啊。

问 ChatGPT 也就是 1 分钟到事情。
6 月 15 日
回复了 wcwcxiaobin 创建的主题 程序员 工控狗对 AI 的迷茫
你 Linux 能熟悉到在脑海里抽象理解整个微内核了吗?不要执着于 Windows ,在 Windows 下学习 cs 的知识,就是带着镣铐学跳舞,整个.net ,包括和 Windows 搭噶的一切,都是最表层的东西。

嵌入式,NPU ,FPGA ,忆阻器......这些都是当前最有搞头的领域。怎么就会是到头了呢?

光 FPGA 都能让你搞 10 年 20 年。
6 月 15 日
回复了 wcwcxiaobin 创建的主题 程序员 工控狗对 AI 的迷茫
”工作到大概三年前的时候,感觉电气行业学到头了“

现在集成电路板都大涨了,供不应求。

3 年就敢说摸透了行业?只能说你见的还是太少了,有点儿坐井观天,老弟。我入江湖都快 20 年了,也不敢说我摸透了 cs 领域,每天都有新论文出现,看都看不过来。

LLM 再牛逼也长不出两只手去焊电容,把自己擅长的领域多广而深的耕耘一下。微电子这块,当前是最好的时代。
@diudiuu 没懂你在说什么,ultra 的机型下,我用 llama.cpp 都能把 模型全部层加载进 apple metal gpu ,cpu 都没有加载任何层。

我彻底没用 omlx ,它限制了 context 长度,我用 llama.cpp 跑 263k context 能一直跑。只是 llama.cpp 对于 混合 attention 的支持目前有问题。不过大概率要几个月才能 fix 这个问题,或者根本无解,跑的满点罢了。
6 月 14 日
回复了 zs1607212422 创建的主题 MacBook Pro MAC 购买建议(求支招)
mac 系列,现在只考虑 ultra 。
很有诚意。我要是年轻 10 岁,就去北京闯一闯了。
@sjmcefc2

推理第一要素,gmem/umem 的带宽,越大越好。
第二要素才是算力本身,prefill 阶段,context 太长,Nvidia 的 cuda 擅长的地方。

mac 系列只有 ultra 的带宽>= 800GB/s ,这是第一个要素。 至于 apple metal gpu 的 core 数量,讲真,再多一倍也无济于事。算力对于 mac 系列来说,聊胜于无。
mac 系列只有 ultra 能用,别的都不用试了。
确实还没恢复,我前天 build 的最新版,现在依然遇到这个 force full prompt ,难怪我每次长 context 到最后,都越来越慢,😭
6 月 11 日
回复了 perbugwei 创建的主题 职场话题 想吃钉钉的瓜,有没有具体点儿的
有一讲一,一个办公工具,你不折腾可能还行,哪有那么多 感动自己就以为能感动别人的项目。

他可能一直没明白 微信强大的地方在于做减法,不折腾。
6 月 11 日
回复了 Livid 创建的主题 Local LLM DiffusionGemma
@kennylam777 还是 你有钱啊。
6 月 11 日
回复了 Livid 创建的主题 Local LLM DiffusionGemma
@commoccoom 如果你的经济阔绰,我推荐 NVIDIA RTX PRO 6000 Blackwell (96GB),虽然带宽只有 1.1TB/s ,但是由于 Nvidia cuda 的极致优化,prefill 依然很能打,最主要的是 kvcache ,模型本身大概 36G ,你可以有 60G 左右跑 context ,Q8 的情况下,263k 跑满,还能开 2 parallel 。

如果你经济有限,我推荐 mac ultra ,可以是 64G ,但是 96G 或者 128G 更好。把 context 搞成 Q4 ,跑 263k 也是 ok 的。只是越往后越慢,但是依靠模型本身的能力,慢点也能完成任务。
1  2  3  4  5  6  7  8  9  10 ... 62  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2748 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 04:42 · PVG 12:42 · LAX 21:42 · JFK 00:42
♥ Do have faith in what you're doing.