本地 4 块 3090 。

2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。

因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。

实际测试见截图： https://blog.jinmiaoluo.com/upload/natmap-benchmark.png

PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。

可以试试这个方案：买两个小米路由器刷 OpenWRT ，跟着 NatMap 的 Wiki 配置一下 NAT 打洞。

我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。

实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。

@vpsvps

1. ollama pull deepseek-r1:671b
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom

第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）

> 是直接 ollama run deepseek-r1:671b 这个就行吗？

先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。

参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650

@vpsvps

@vpsvps

> 我的服务器有 8 块 4090 ，内存 640G ，能跑得动 671b 404GB 这个吗？

可以跑得动，跟你类似的配置，8 * 4090 + 512G 内存。Ollama 671B Q4 ，回答问题，短的 10s ，长的 20 - 30s 的样子。体验较差。

实际显存+内存总共：180 - 200G 。

ollama 现在会因为显存分配策略问题导致无法启动，需要 dump 出 Modefile 后手动添加 parameter num_gpu 为显卡数量 * 2

libvirtd + virsh

这是给 Linux 用户的一些备份相关的建议：

备份是在万不得已时最后的办法，是构建自己一整套完善、持续可靠的 Linux 集群必要的一环（会让你安心）。

如何实践：

1. 备份应该是全系统的。
2. 除非该服务器上没有个人数据需保留，否则都应该加入备份系统。
3. 可以通过代码化（ ansible 、terraform 、saltstack ）方式（或者容器化）实现故障时服务快速重部署，区分运维操作和运维数据，只对数据进行备份。
4. 备份要有策略。比如 GFS ，避免因为策略的原因导致的空间浪费。
5. 基于成熟的开源方案。比如：borgbackup ，目的是让备份系统自身具备完善的策略、去重、加密存储支持。
6. 参考开源社区成熟的 Linux 集群备份实践。比如 Arch Linux DevOps Team 基于 BorgBackup 的实践。

病毒性流感请勿剧烈运动。

放弃阿里云的轻量云了。

论坛里有个老哥在推广搬瓦工 DC9 机房的主机，入手了。

试了一下, 广州移动 600M 带宽，可以跑到 372 Mbits （ 46.5MBytes/S ）。延迟 150ms 左右。

相对阿里云香港的轻量应用服务器，延迟（旧服务器大概是：10ms ）高了不少。不过带宽（相比阿里云限制前的 3.75MBytes ）也大了很多。

当初购买的订单页面是峰值 30M （即：3750K ） 的峰值，现在是直接把峰值限制在了 1024K ，这属于消费欺诈了吧。

当然是 miniflux/v2 啦。