V2EX › slowgen 的所有回复 › 第 1 页 / 共 28 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 28

❮

❯

2 月 25 日

回复了 rmrf 创建的主题 › 程序员 › 这个推理速度也太快了吧！ chatjimmy.ai 比查 db 都快啊！

@mewking code 的能力差不多（仅针对我的 Go 和 TypeScript 需求），agent 的话 Qwen3-Coder-Next 差一点。
最近在搞创意类的东西，Step-3.5-Flash 的创意非常差，MiniMax M2.5 好很多。

现在的模型根本测不完……今天凌晨 Qwen3.5 中等型号发布，Qwen3.5-35B-A3B 直接打上一代 235B ，4bit 量化还几乎无损，太夸张了……去年还有很多项目是基于 235B 跑的，现在成本直接暴降了，等年底这个尺寸的模型不知道又能暴打什么了。

试想一下今年年初的 Qwen3.5-397B-A17B 水平的模型明年被 35B 尺寸的模型打，还被刻到本贴的芯片里，直接上万 token/s 输出的话，都不敢想能拿来做什么。

2 月 24 日

回复了 Astralume 创建的主题 › 生活 › 厨艺不精，养锅太难，友们推荐一个不粘锅吧（也欢迎推荐其他厨房好物）

煎东西粘锅肯定是温度不够，温度不够的原因大概率是因为没吸干肉表面的水分，有水进去温度就不够容易粘，而且也不容易发生美拉德反应（毕竟水温上限也就 100 度）。
或者你参考冷煎法： https://www.bilibili.com/video/BV1jUmbBFEhZ 反向利用粘的特性，煎好的那一面自己会脱落，然后就可以翻面了，非常简单。

2 月 24 日

回复了 Astralume 创建的主题 › 生活 › 厨艺不精，养锅太难，友们推荐一个不粘锅吧（也欢迎推荐其他厨房好物）

我以前也是用不粘锅，后面看了铁锅不沾的原理之后就都是用铁锅了，所谓的养锅都是物理化学没学好也不知道底层原理所以口口相传搞出来的，压根不需要养，大胆用洗洁精就完事了。https://www.bilibili.com/video/BV1yhpjeKETT/

2 月 22 日

回复了 rmrf 创建的主题 › 程序员 › 这个推理速度也太快了吧！ chatjimmy.ai 比查 db 都快啊！

这才第一款，刻了个老得不行的 LLama3.1 8B ，要知道去年 Qwen3 30B A3B 2507 系列和 GPT-OSS-20B 系列在对话任务上就很能打了（对话模式下写 Go 的准确性很高）。

如果它能塞下 Qwen3-Coder-Next 这个 80B 的模型，甚至 196B 的 Step-3.5-Flash ，整机定价低于 3 万都算白菜价了（对比苹果官翻的 M2 Ultra 192GB ）。这个时候应该考虑的是当 token 成本趋于 0 的时候用来干什么了。

1 月 29 日

回复了 summerLast 创建的主题 › Local LLM › 30B 尺寸哪个小模型编码能力会好一些

GLM-4.7-Flash

1 月 21 日

回复了 yifangtongxing28 创建的主题 › Local LLM › 个人玩 ai，显卡最低起步是 5080 嘛？

@yifangtongxing28 大显存 + 凑多张，比如 4 张 4090 魔改的 48G ，或者 4 张 5090 32G ，或者 RTX PRO 6000 96G 。
算力差不多就够用了，举个例子，5 秒总帧数 81 帧的 480x480 视频，在 M2 Ultra 要 1 小时，一张 2080ti 22g 要 120 秒，一张 7900XTX 也是 120 秒左右，一张 5090 就只需 20 多秒，一张 H20 也是 20 多秒。
但是如果你要做 1080x720 分辨率的视频，差距就更大了，因为一张卡的显存可能会爆，比如你用 LTX2 这个能同时生成声音的模型，一张卡也不够用了，除非用社区的量化方案。不同量化程度的方案出来的画质也不一样，需要自己去评估的。
我现在做短剧，一人用一张 H20 ，做 5 秒的精细镜头，单张显卡的显存占用就来到了 70G 。

1 月 21 日

回复了 yifangtongxing28 创建的主题 › Local LLM › 个人玩 ai，显卡最低起步是 5080 嘛？

16g 在 AI 眼里是电子垃圾，你这个价格买两张 2080ti 22g 或者 7900xtx 24g 都更好，能退就退了。不信邪的话去 autodl 租个 4090 或者 5090 跑 comfyui 生成 720p 规格，一秒 15 帧，持续 5 秒的视频，看 nvidia-smi 显存占用。

目前买 API 便宜的只针对 LLM 和图片类，要是玩视频那是贵上天的，重度使用要么租卡要么自己买卡。

1 月 15 日

回复了 after1990s 创建的主题 › Local LLM › intel b60 48G 可以买吗

这个售价飘了，不如 2 张 AMD 的 7900XTX

2025 年 12 月 21 日

回复了 Mohanson 创建的主题 › 分享创造 › 新书 <Learn me a solana> 写完了, 从码字大师复归常人，评论区留下 solana 地址, 我来发纪念币庆祝一下~

A4YJGZtiFZJywxC3vmK7aJngFJWCotVLbfFQ5TgvaAwx 感谢

2025 年 12 月 3 日

回复了 fingers 创建的主题 › 问与答 › AI 分析视频的底层逻辑是什么，成本有多高？

https://yiyan.baidu.com/blog/zh/posts/ernie-4.5-vl-28b-a3b-thinking/ 自己部署一个玩呗

2025 年 12 月 3 日

回复了 street000 创建的主题 › Node.js › Anthropic 收购 Bun

其实是不太利好 Deno 的一集，Deno 那个 compile 只是把代码无脑合并成一个文件（连压缩都没，注释还保留着）再嵌入 Deno 里，Bun 的 compile 虽然也是合并代码后嵌入到 Bun ，但是还可以 minify + bytecode ，比 Deno 小个几十 MB 。

虽然 Bun 的稳定性一般，但是拿来做客户端工具太爽了，不去和 Deno 、Node 在服务端领域竞争的话没对手

2025 年 12 月 3 日

回复了 cnhongwei 创建的主题 › Local LLM › 各位 AI 大佬，请教一下私有化部署 AI 模型的问题?

去 https://chat.qwen.ai/ 和 https://chat.z.ai/ 选择带 V 型号的模型，把脱敏或者不重要的图片丢进去问，如果能满足需求就可以按照这些模型大小买硬件。

OCR 能力可以体验 https://huggingface.co/spaces/tencent/HunyuanOCR ( https://huggingface.co/tencent/HunyuanOCR ) 和 https://huggingface.co/spaces/PaddlePaddle/PaddleOCR-VL_Online_Demo ( https://huggingface.co/PaddlePaddle/PaddleOCR-VL ) ，不到 1B ，是个电脑都能跑。

5w 以内能买的性价比最高就是 192GB 的官方翻新的 Mac Studio Apple M2 Ultra (24 核 CPU + 60 核的 GPU)那款，跑个 gpt-oss-120B 和 Qwen3-Next-80B-A3B 都很轻松，再跑一个带视觉能力的模型就可以了，2 个模型同时加载也不会爆显存，一起干活挺快的，难度高点就跑 Qwen3-VL-235B-A22B 。192GB 统一内存的好处是未来出了新模型大概率也能跑，不像 4090 48GB,5090 32GB 这种要凑多卡容易爆预算加爆显存。

AMD 的 Max+ 395 这些的瓶颈在于内存带宽，太弱鸡了，能跑但是跑不快，速度只有 M2 Ultra 的 1/3 ，也就跑个 Qwen3-VL-30B-A3B ，如果你体验下来能满足的话，倒也不是不行。

2025 年 11 月 21 日

回复了 wenerme 创建的主题 › 程序员 › LLAMA CPP 比 Ollama 快得多

ollama 就是个废物，在 r/LocalLLaMA 都被喷了好多回了，精准控制参数贼麻烦，还不如直接去 llama-server 看参数 https://github.com/ggml-org/llama.cpp/tree/master/tools/server

而且现在 llama.cpp 自带的 webui 也挺好用的，越来越强大了，缺点就是多个模型加载有点麻烦，要开多个命令。
在 mac 上用 llama.cpp 是最方便的，去 release 页下载编译好的文件就好了，只有 15MB ，追新模型很方便。
举个例子：我跑 gpt-oss-120b 模型，开中等级别推理，这个命令就搞定

/Users/admin/llama/build/bin/llama-server \
-m /Volumes/RC20/lmstudio-community/gpt-oss-120b-GGUF/gpt-oss-120b-MXFP4-00001-of-00002.gguf \
--host 0.0.0.0 \
--port 50505 \
-fa on \
-np 4 \
-ub 2048 -b 2048 \
-c 131072 \
--presence-penalty 1.1 \
--n-gpu-layers 99 \
--jinja \
--alias openai/gpt-oss-120b \
--chat-template-kwargs '{"reasoning_effort": "medium"}' \
--temp 1.0 \
--top-p 1.0 \
--top-k 0

Windows 上同理，下载对应的文件解压就用

Linux 上也很方便，N 卡的话直接 cuda13 驱动一装，docker 配置一下 nvidia 作为 runtime 完事

docker run --gpus all \
-v /home/slowgen/models/Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL.gguf:/models/Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL.gguf \
-p 12345:12345 \
ghcr.io/ggml-org/llama.cpp:server-cuda \
-m /models/Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL.gguf \
-c 40960 \
-np 4 \
--jinja \
--n-gpu-layers 99 \
--temp 0.7 \
--min-p 0.0 \
--top-p 0.8 \
--top-k 20 \
--presence-penalty 1.05 \
--port 12345 \
--host 0.0.0.0 \
--mlock \
-mg 0

2025 年 11 月 20 日

回复了 crocoBaby 创建的主题 › Local LLM › 折腾了一晚上大模型，索然无味

5060 太丐了，全新也掩盖不了丐的事实，你这个就像“新买了一个 500MB 容量的托管虚拟主机然后部署了一个 WordPress ，玩了一下主题和插件之后索然无味”，能怪 WordPress 太弱吗？

2025 年 11 月 3 日

回复了 zungmou 创建的主题 › 互联网 › 虎嗅网被撤销了证书

通配符证书被吊销，那大概率是和测试环境证书共用一个证书，然后被喜欢用 GitHub 做笔记的猪队友把测试环境配置打包下来放笔记里，然后被扫描到了

2025 年 10 月 16 日

回复了 chennqqi 创建的主题 › 程序员 › 作为后端程序员在 cursor 加持下写前端，最适合的前端框架/方案？

管理后台首选 amis ，基本上都是在改 json 文件

2025 年 10 月 14 日

回复了 lileyzhao 创建的主题 › 程序员 › 奔 4 的.NET 老兵，想深入 AI 大模型方向，但很迷茫

卖课流永不过时

2025 年 10 月 14 日

回复了 xkwdm 创建的主题 › Node.js › 删除 node_modules 文件夹非常耗时

可以用华硕的 RAMDisk https://dlcdnets.asus.com/pub/ASUS/mb/14Utilities/ASUS_RAMDisk_V2.03.00_for_Windows_10_64-bit.zip (有 Referer 校验，需要地址栏输入打开)
把内存分出来当硬盘，结合 WSL1 在里面使用 rm -rf 删除，超快

2025 年 10 月 12 日

回复了 YanSeven 创建的主题 › 浏览器 › Zen 浏览器疑似内存占用有点高啊

应该是 Firefox 的锅，我最近用 Firefox 开发者版内存泄露了，开游戏经常被杀一开始还以为是游戏的问题，后面检查了内存占用才惊觉是有一个没关 Firefox 吃了六十多 G 内存，Firefox 里的页面也很正常就几个 Github 的项目

2025 年 10 月 6 日

回复了 guin 创建的主题 › 程序员 › 感觉前端自学后端是不是还是从 Java 开始学比较好？

跟着这个 roadmap 走就行了 https://roadmap.sh/backend?r=backend-beginner ，最多加个消息队列 RabbitMQ 和搜索引擎 Elasticsearch ，非要去 java 屎里淘金干啥…首选 node 和 go ，选对已经成功一半了。

目标是“软件工程师”而不是“x 语言程序员”，先掌握更多的后端架构知识才是正确的道路。
很多时候做技术方案不是越多越好，一股脑做加法的都是菜得抠脚的人，你看 java 那些课程觉得人家内容多，我看过去还觉得是一开始方向错了只能引入更多的蹩脚方案来弥补，疯狂堆屎山。做减法才有技术含量。

我搜了下你那些充电桩、AI 、网约车课程，给你理一理里面内容：

充电桩：
SpringBoot3：正常的 web 框架，没啥特别的；
MQTT：RabbitMQ 加插件；
WebSocket：node 、go 更擅长，甚至 deno 和 bun 在标准库里都实现好了；
Netty：就是 JavaScript 在 async/await 之前的回调地狱的时代那套东西；
时序数据库：PostgreSQL 装个 TimescaleDB 插件搞定；
Protobuf：好坏参半的 RPC ，复杂度增加很多，真要用你还得考虑很多东西，不如纯 http 调用接口，最多加个 Dapr 在中间；

AI 课：
LangChain4j：一个库，你用 LlamaIndex.TS 就得了；
RAG：LlamaIndex 里就有，3 行代码的事 https://developers.llamaindex.ai/typescript/framework/modules/rag/chat_engine/ ，原理在 https://github.com/run-llama/llama_index/blob/81d4b871143ddd4a7cb90333a3d103fbb1f269c5/llama-index-core/llama_index/core/prompts/chat_prompts.py#L21 这 15 行代码，说白了就是拆分问题里可以搜的东西，搜出来相关内容再 rerank ，然后拼接成字符串贴在上下文里，又回到了 Elasticsearch 或者 PostgreSQL 的 pgvector ，其实难点在召回高质量内容，和 java 没啥关系；
记忆： https://developers.llamaindex.ai/typescript/framework/modules/data/memory/#configuring-memory-for-an-agent 有效代码不到 20 行…还是字符串拼接；
tools + MCP： https://developers.llamaindex.ai/typescript/framework/modules/agents/tool/#tool-function 有效代码加起来不到 50 行…

AI 课：和 java 有点关系但不多，算是一个 API Caller 加点项目设计吧，这也能水 13 小时课程，看得我也想去卖课了……

网约车课：
SpringCloud 微服务体系：有 k8s 之后没它什么事，也就 java 存量项目在用，真正要学的是 k8s 这套体系，结合你的代码正确的跑在 k8s 上面。

要是会打一个极简的 docker 镜像然后自己在云厂商的容器服务/serverless 里跑起来再配置一个网关入口你已经超越 98%的同行了。要是在云厂商通过界面操作点点点配置好弹性伸缩你已经超越 99%同行了。此时一部分 java 还在解决容器太大启动太慢和内存占用太高的问题，一部分 java 在看某屎山动态线程池方案想办法给自己的服务从 50 并发优化到 100 并发，而你在喷云厂商为啥我 1 核 512MB 内存的容器明明能抗三五千并发，你的共享型 API 网关并发额度才给到我 500 。

要是框架选了 honojs 然后部署到 cloudflare worker 你就已经超越 99.5%的同行了，你的应用现在已经打不死了，能打死你的是下游扛不住的各种组件和你的账单。

AI 写代码正确性最高的语言：
Go （语法简陋、特性少、概念少、标准库质量高，已经被 AI 学透了，从 30B 到 1000B 级别的 AI 写出来都差不多，反正遇事不决可以让 AI 当场搓一个库给你）
JavaScript/TypeScript(高质量代码库多，毕竟前端娱乐圈一言不合开个 NPM 仓库，9 行代码的 is-odd 都要搞一个包，还写一堆测试代码和 lint ，产能超强，喜欢追新，AI 容易学到新内容);
Python （高质量代码库多，但是异步生态垃垮所以高质量异步代码少，AI 写同步代码还行，写异步代码能力差）

你在 groq 里创建个免费 api key ，选个 gpt-oss-120b （速度接近 500token/s ）或者 kimi-k2-instruct-0905(速度 220token/s)，用来写这 3 个语言正确率都能有 95%甚至更高，你看都来不及，何苦去用 java 呢，限制你的只有你的后端体系知识，因为每个 AI 给的方案可能都不一样，你需要判断这“上中下策”里哪一个才是“上策”，所以按照最开始的 roadmap 打好基础才是正道。

1 2 3 4 5 6 7 8 9 10 ... 28

❮

❯