bwnjnOEI

V2EX 第 545030 号会员，加入于 2021-05-11 13:45:47 +08:00

根据 bwnjnOEI 的设置，主题列表被隐藏

二手交易相关的信息，包括已关闭的交易，不会被隐藏

bwnjnOEI 最近回复了

15 小时 52 分钟前

这分明是 ai 的供养

1 天前

在都使用 bandwagon 节点的情况下，如果是早期用境外白名单邮箱注册被封的概率比用虚拟邮箱注册的低，我就是 23 年用 icloud 注册的一直用，用 duck 邮箱用了几个月就被封了

4 天前

新时代新方法用智能体同一信息源多个账号每个账号设置比如不同提示不同温度这些消融实验做完找几个你觉得好的参数

1 月 21 日

@zzutmebwd 你指的是单一量化格式吧，现在都是混合精度，比如 moe 里用 fp8 layernorm 里保持精度能掉多少精度，而且 kv cache 一般都不量化而且我们现在天天用的套餐都是量化后的模型。

1 月 20 日

@bwnjnOEI 难点就是瞬时 token 数量会不会爆显存，如果观测一段时间爆了要么加算计要么上手段比如 fp8 （前提调点精度能不能接受

1 月 20 日

@bwnjnOEI 但是我不建议使用 claude code router ，至少公司使用这个不可行，推荐 Bifrost go 写的比 litellm python 的快

1 月 20 日

好几个开源 llm 网关，统一所有接口而且可以遥测和统计 token ，另外多卡用 vllm 或 sglang 部署都有很好的并发优化。必须先部署上之后效果需要不断优化，就对着这俩文档研究参数和基本原理就行

1 月 16 日

去年纠结很久最后没买 nas 买的 macmini 挂尿袋，用的 gitea ，待机才不到 6w

1 月 12 日

@w3 怎么感觉变相夸自己呢

1 月 12 日

是侵入式遥测那家吗？我 X 的页面一翻译就崩溃 retry