coefu

coefu

V2EX member #616381, joined on 2023-02-28 17:15:35 +08:00
Today's activity rank 4681
Per coefu's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
coefu's recent replies
1h 30m ago
Replied to a topic by hotoh521 程序员 游戏行业最好的 AI 编程大模型
@yu6564172 你这个也有搞头,但是 命题太大了,比 OP 的这个盘子还大。你搞钱招人都不一定搞得定。
1h 33m ago
Replied to a topic by hotoh521 程序员 游戏行业最好的 AI 编程大模型
你这个有搞头的,可以搞钱做大,目前好像没看到这种集成方案,毕竟有点领域交叉。
当然是花钱买厂商 api ,厂商怎么计算 token 消耗量,还不是它们说了算,至于为什么要消耗那么多?不多空转几个逻辑让你充值,你以为厂商搞慈善啊,数据中心怎么回本?

什么,你说数据安全?你搞的那些项目有什么现实实际意义吗?厂商还嫌你上传的数据可能污染它们的训练数据呢,还讲什么数据安全,每天能用厂商 api vibe coding 的项目,保守点 90% 的 application ,你自己会掏钱用吗?
3h 4m ago
Replied to a topic by davidyin Local LLM 配置 kiro 的问题
我记得你之前 3 月份不是问过一样的问题吗? 3 个月了还没搞定?我都和你说了 Cline+vscode ,Cline 填 ollama 都 openAI api 就行了。哥们儿,有点儿菜了啊。

问 ChatGPT 也就是 1 分钟到事情。
3h 9m ago
Replied to a topic by wcwcxiaobin 程序员 工控狗对 AI 的迷茫
你 Linux 能熟悉到在脑海里抽象理解整个微内核了吗?不要执着于 Windows ,在 Windows 下学习 cs 的知识,就是带着镣铐学跳舞,整个.net ,包括和 Windows 搭噶的一切,都是最表层的东西。

嵌入式,NPU ,FPGA ,忆阻器......这些都是当前最有搞头的领域。怎么就会是到头了呢?

光 FPGA 都能让你搞 10 年 20 年。
3h 16m ago
Replied to a topic by wcwcxiaobin 程序员 工控狗对 AI 的迷茫
”工作到大概三年前的时候,感觉电气行业学到头了“

现在集成电路板都大涨了,供不应求。

3 年就敢说摸透了行业?只能说你见的还是太少了,有点儿坐井观天,老弟。我入江湖都快 20 年了,也不敢说我摸透了 cs 领域,每天都有新论文出现,看都看不过来。

LLM 再牛逼也长不出两只手去焊电容,把自己擅长的领域多广而深的耕耘一下。微电子这块,当前是最好的时代。
@diudiuu 没懂你在说什么,ultra 的机型下,我用 llama.cpp 都能把 模型全部层加载进 apple metal gpu ,cpu 都没有加载任何层。

我彻底没用 omlx ,它限制了 context 长度,我用 llama.cpp 跑 263k context 能一直跑。只是 llama.cpp 对于 混合 attention 的支持目前有问题。不过大概率要几个月才能 fix 这个问题,或者根本无解,跑的满点罢了。
1 day ago
Replied to a topic by zs1607212422 MacBook Pro MAC 购买建议(求支招)
mac 系列,现在只考虑 ultra 。
很有诚意。我要是年轻 10 岁,就去北京闯一闯了。
@sjmcefc2

推理第一要素,gmem/umem 的带宽,越大越好。
第二要素才是算力本身,prefill 阶段,context 太长,Nvidia 的 cuda 擅长的地方。

mac 系列只有 ultra 的带宽>= 800GB/s ,这是第一个要素。 至于 apple metal gpu 的 core 数量,讲真,再多一倍也无济于事。算力对于 mac 系列来说,聊胜于无。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1029 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 19:04 · PVG 03:04 · LAX 12:04 · JFK 15:04
♥ Do have faith in what you're doing.