V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  diudiuu  ›  全部回复第 1 页 / 共 22 页
回复总数  424
1  2  3  4  5  6  7  8  9  10 ... 22  
16 小时 4 分钟前
回复了 iyiluo 创建的主题 git 有人把 IDEA 的 git 客户端做出来了
这个跟 fork 比较呢
还是笨笨的。你可以使用 vscode ClaudeCode 插件,配置本地模型
22 小时 8 分钟前
回复了 razios 创建的主题 问与答 大家觉得 gemini 和 gpt 哪个好用?
免费的还是收费的

免费的 gpt 大傻逼
gemini 还可以

收费 gpt 牛逼
@SoulFlame 还是要注意下,我说的这些人都是穿红色衣服的,如果你真的失业了,就知道天天让你去这学习,去那学习还有考核,那个失业金没有那么好领,上面那发生的都是说去让充当人数的,问也是自己随口问的,回答的那个人算是有良心的

说出来这事估计都没人信,还是那句话这个钱不好领,幺蛾子比较多,注意下别乱签字
温馨提醒一句,但凡后面失业相关让你去签字的,一定要问清楚签这个字是干啥的

现在有个骚操作,线下有人会通知你去参加什么培训,最后让你签字,这个字签了可能就领不了失业金了

一定要问清楚,因为我这有人遇到过,让你参加什么会,最后要签字,就问了一嘴子

问签字干啥

对方:签了不给发失业金了,大概意识就是这

继续问对方:你们打电话叫我来也没人给我说这件事

对方:你也没问
1 天前
回复了 waitMeOY 创建的主题 职场话题 公司搞绩效改革
啥公司啊,很大吗
1 天前
回复了 Pizi 创建的主题 吐槽 哪些鼓吹 openclaw 的人是真该死啊
你让他们装个 trae ,他会帮你装 openclaw
1 天前
回复了 Pizi 创建的主题 吐槽 哪些鼓吹 openclaw 的人是真该死啊
不要上心,让 openclaw 给你回答,换模型吧
@enihcam 国内人白嫖的居多
@coefu 大哥给老弟看看呗

都来看下最新部署 gemma4 31b 的效果
https://2libra.com/post/ai-applications/KT_9AES

目前结论是卡在这台 dgx spark 机子本身的带宽了,有什么建议,相互交流一下
我看有的人都用到这个 ai 版本了,是内测吗??
还是 0.22.0 版本我打开得姿势不对
@wat4me 没问题,理由充分
@enihcam 你这太高级了,现在就是写脚本导出抓取新闻+openclaw ,每隔一段时间就是抓取,然后形成文档,最后整理 ai 分析+我关注的股票,定时发给我,最终还是要靠自己看. 我看不懂股票,两个人合作的,我主要搞 ai 和数据,有另外一个朋友专门看数据,然后修改。
@wat4me 你怎么得出这个结论的,还是不用的微信特供版
@enihcam 你可以买那个 mac studio,还能当个常用的开发工具,这个建议你还是不要了,你真的想要可以买 github copilot pro,那个把高级额度用完可以用 chatgpt 5 mini,随便用,这个线上再烂也比本地的强.

我这个 dgx spark 现在就是跑了一个本地模型算股票,没有其他任何作用
@yifangtongxing28 跑的 26b 的一个 18g ,最简单的方式就是你看下载的模型大小,直接加就行了,能简单算出来

比如 gemma4:26b 18g ,32g mac 电脑,本身占 11g + 18g ,差不多都在 29g-30g ,再加上推理要用的,之能更大

速度我看下来以只要内存后,出 token 都差别不是很大,我试了一个 gemma4:e4b 9g ,跟上面 18g 都是 25 token/s ,区别不是很大
@enihcam 摸石头过河,没人教啊,自己知道一点,比如 ollama 部署,但是吧实际效果非常不好,
然后就找原因,看到 cpp 和 vllm ,对比看具体原因,cpp 方式论坛里特别多,就抄了

后面才知道的 tensorrtllm ,现在很多人一股脑都是 ollama ,具体问题具体分析吧

多交流相互学习提升
48 吧 我 m4 搞得 32 这会用的时候还是有点吃力,主要是上本地模型了,昨天去以旧换新,旧的折算 5000 ,算了讲究用吧
@enihcam
这个说的 vllm ,我个人理解总体是提高并发了
vllm > llama.cpp >>>> ollama 玩具

这台机子 DGX Spark 具体问题,建议去这里找
https://forums.developer.nvidia.com/t/pre-installed-ollama-configuration/349480/12

vllm 和 sglang 我在论坛里面有看过,还是用 llama.cpp 方式去部署了
https://2libra.com/post/ai-applications/vc337z0 这个是我详细部署 oss 120b 的帖子

部署 minamax2.5 也是在 nvidia 论坛里面找到的原帖子,懒得记录了,参数略多
没有 ai 你 16g 也是闹着玩呢
@enihcam 没有试过,cpp 论坛里面例子最多,问题基本都解决了.

https://github.com/NVIDIA/TensorRT-LLM 你可以看看这个,英伟达专门出的
1  2  3  4  5  6  7  8  9  10 ... 22  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   938 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 22:53 · PVG 06:53 · LAX 15:53 · JFK 18:53
♥ Do have faith in what you're doing.