首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  KaiWuBOSS  ›  全部主题
主题总数  1
我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现
Local LLM  •  KaiWuBOSS  •  11 分钟前  •  最后回复来自 KaiWuBOSS 		21
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2905 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 14:09 · PVG 22:09 · LAX 07:09 · JFK 10:09
♥ Do have faith in what you're doing.