V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  thorneLiu  ›  全部回复第 7 页 / 共 9 页
回复总数  168
1  2  3  4  5  6  7  8  9  
@pengxiaoyu 保守估计乘以 2
vivo x100 等等看
2023 年 9 月 11 日
回复了 gfswoquasfasd 创建的主题 咖啡 做个调查:大家一天几杯 coffee
0
2023 年 9 月 8 日
回复了 svt 创建的主题 问与答 妹妹大学开始分流了,不知道选啥方向
这是职业技术学院吗?
2023 年 9 月 8 日
回复了 freepoint 创建的主题 问与答 突发奇想:你们平时都“逛”哪些网站?
水木社区
骐达
2023 年 8 月 31 日
回复了 darkings90 创建的主题 程序员 考考你们 maven 怎么读?马文、埋文、马 wing
美文
没必要 带他该吃吃该喝喝 快乐至上
2023 年 8 月 30 日
回复了 TESTFLIGHT2021 创建的主题 Android 推荐个国产牌子的安卓手机吧。。。。。。。
vivo X90 pro
IQOO 11
能用 Google play
2023 年 8 月 11 日
回复了 3x1415926535 创建的主题 iPhone iphone8 的钉子户怎么这么多
库克 你好
2023 年 7 月 28 日
回复了 sankooc 创建的主题 程序员 如何生成这种 banner 图
PPT 画的 打开思路
自带电脑上班 搁这儿用爱发电呢
2023 年 7 月 19 日
回复了 icemanpro 创建的主题 C++ 在结构体中如何使用动态数组?
土问这个 a1 list[]合法吗
为啥不用 STL?
2023 年 7 月 17 日
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
@lyang 一个实例只能同时做一个推理 因为 LLM 推理有很多跟本次推理相关的过程量

所以要么他服务端这里拼了 batch 要么是在排队
2023 年 7 月 17 日
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
取决于你后面部署的推理服务怎么个策略
2023 年 7 月 17 日
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
就 fastertransformer 而言
权重加载是共享的 但用于推理的 modelinstance 可以构建多个
所以是支持多用户推理的

但理论上 其实多用户输入进队列拼 batch 用一个 modelinstance 推理会比多 instance 单 batch 推理效果好一点
2023 年 7 月 16 日
回复了 asdgsdg98 创建的主题 宽带症候群 三百块三年的广电宽带有必要多开几年么
适合出租房房东
2023 年 7 月 13 日
回复了 tatuotuo 创建的主题 酷工作 [远程全职] 寻找会软件测试的实习生
需要临时工
2023 年 7 月 13 日
回复了 Shiweizhi 创建的主题 Linux 感觉 xfce 桌面好快
我的 x230 上也是用的 manjaro xfce
2023 年 7 月 13 日
回复了 Weixiao0725 创建的主题 生活 请问贷款 200 万买房子,利息真的要 100 万吗?
每期 利息=本金*利率
一般是一个月一次
自己算
1  2  3  4  5  6  7  8  9  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3116 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 45ms · UTC 00:23 · PVG 08:23 · LAX 17:23 · JFK 20:23
♥ Do have faith in what you're doing.