https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.
感觉这个,加上一些订阅的模型 可以省很多成本啊
https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.
感觉这个,加上一些订阅的模型 可以省很多成本啊
|
hanguofu20h 19m ago via Android
1
好消息!需要多大显卡?
|
|
2
16 到 24 的都可以
当然越高越好 |
|
R1ta19h 20m ago
3
可以多并行吗?
|
|
sentinelK18h 21m ago
4
分和 QFN 基本一致,性能也基本一致,参数也差不了多少。
这感觉好迷。不知道推理架构是否和 strata 一致?conversation-cache 怎么处理的?热缓存、温缓存和 strata 的处理有差异吗,我看作者没有仔细陈述。 |
|
jinsongzhaocn12h 38m ago
5
这就放弃 30,40 系列了
|
|
jinsongzhaocn11h 14m ago
6
@R1ta 本地部署共享缓存的并发,一样是平均分配大小,也会出现输出截断问题。每并发单独开缓存,按照 pi 默认 10 并发,strata 需要消耗 5GB 以上的显存或内存,llama.cpp 就别想了,需要的显存估计几个 GB 一个并发
|