首页注册登录

hughrover 最近的时间轴更新

hughrover

V2EX 第 761229 号会员，加入于 2025-08-05 18:07:18 +08:00

hughrover 提问技术话题好玩工作信息交易信息城市相关

hughrover 最近回复了

2 天前

回复了 wyfig 创建的主题 › Local LLM › 本地大模型目前意义大吗？

以 16B 尺寸的模型部署推理为例，加载半精度模型权重占用显存 16G （全精度 32G ，此外还有 KV Cache 、激活缓冲区占用的显存），即使是 m4 max 的最高配 128G ，也很难流畅运行超过 100B 尺寸的模型，供楼主参考。

» hughrover 创建的更多回复

关于 · 帮助文档 · 自助推广系统 · 博客 · API · FAQ · Solana · 5400 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 15ms · UTC 07:36 · PVG 15:36 · LAX 23:36 · JFK 02:36
♥ Do have faith in what you're doing.