V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
ucaime
V2EX  ›  分享创造

消费降级,尝试把服务器放车库的省钱新玩法,顺带求更优雅的与家庭网络可控隔离方案

  •  
  •   ucaime · 10 天前 · 2621 次点击

    背景

    之前每年在云服务器上投入差不多 2-3w ,最近看了下数据其实访问量和稳定性要求没那么高,但存在几个问题一直不好降低配置:

    • 服务特别多,一些 ES 、数据库之类的对内存要求高,单机配置不好降下来;
    • 存储占比大,非常多的 OSS 文件,且流量大,带宽要求高,遇到过很多次被恶意刷流量;
    • 有不少耗 CPU 的转码、计算等任务,收到过很多次轻量云的警告;
    • 尝试过 ServerLess ,使用不方便,且附带的数据库、缓存等等一堆东西并不便宜;

    在尝试的方案

    1. 硬件

    • 两台浪潮 5212m5 ,配置拉满 256g 每台内存,不含存储总价 3000 以内每台;
    • 6 块 Intel 固态、16 块 希捷银河 x18 16T 拆机 SAS 硬盘(单块 950 左右,在保);
    • 2.5g 交换机 / 从家里机柜到地下室正好有个弱电通道,一根网线搞定;
    • UPS 之前淘汰的,换了两组电池继续用;

    2. 部署调整

    • 原家里机柜两台 NAS 、各种智能家居的设备,现在准备把两台 NAS 停掉,也用地下室的服务器承载服务,硬盘全部迁移过去,本身 unraid 虚拟化迁移很方便;
    • 两台服务器放在地下室,取电用了充电桩的,原因是电费无阶梯,峰谷电算下来全天不到 5 毛一度;
    • 地下室通风条件极好,冬暖夏凉,噪音无感;

    3. 几个核心服务

    • Minio 替代 OSS ;
    • PG 和 MySQL 有专用配置;
    • ES 单独搞了个集群;
    • K8S 作为其他服务的统一承载;
    • 监控和可观测沿用朋友自己搞的开源的那套;
    • 环境监测和用电分析继续用了家里在用的 HA ;
    • 两张 2080ti ,做本地 AI 推理,其实可以用 P40 的,正好手头有 2080 先做测试了;

    4. 最重要的

    • 两台 200m 带宽轻量云,每年不到 200 块;
    • 家里服务器和轻量云之间延迟 5ms 以内;
    • 备案不用动;
    • 两个外网 IP ;
    • 轻量云和服务器之间用 WG 组网,延迟控制很好,带宽可以拉满家庭网络上行;
    • 家庭网络三年没出过任何问题,且仅一次机房维修中断;
    • 轻量云目前用的 iptables 直接转发端口(在尝试反向代理模式,容易触发轻量云性能警告);
    • 目前总功耗最大还不到 1000w ;

    4. 效果

    • 省钱
    • 合计 512G 内存,四路铂金 CPU ,ESXi 随便开机器,从来没打过这么富裕的仗;
    • 网络目前看来完全符合最初设想;
    • 容灾方面目前没考虑完善,不过因为服务本身做好了各种备份,不担心中断;

    问题

    • 抱着省电、减小家里噪音的原则本来想出掉原有的各种设备,但目前遇到一个对外服务和家庭网络隔离的问题;
    • 有时候需要完全隔离,避免各种外部入侵导致的家庭网络失效,有时候又需要部分服务能和家里无缝集成;
    • 单纯 wg 组网的各种尝试都试过,不够完美;
    • 主路由双拨,公网出口和子网划分都做了,但好像仍然存在薄弱点;

    有啥好办法或者大家在这个基础上有什么新想法,更靠谱的方案可以讨论讨论!

    31 条回复    2025-01-23 13:57:30 +08:00
    jdi
        1
    jdi  
       10 天前
    也没必要把家里云迁移到地下室云吧,就还维持原样呗
    zhywang
        2
    zhywang  
       10 天前
    两台 200m 带宽轻量云,每年不到 200 块
    求教这个是如何做到的?
    GooMS
        3
    GooMS  
       10 天前   ❤️ 1
    放家里真的非常香,比云便宜太多了,一年电费只要 4000 左右
    lekai63
        4
    lekai63  
       10 天前 via iPhone   ❤️ 1
    厉害的地下室云。宽带是咋接地下室的?
    不过看 op 这配置 大概是别墅。

    难道是思聪家!!
    imNull
        5
    imNull  
       10 天前
    同问 200M 的轻量云咋做到 200 块的
    billzhuang
        6
    billzhuang  
       10 天前 via iPhone
    关键词:地下室
    hefish
        7
    hefish  
       10 天前
    关键词:地下室 + 1
    Ansen
        8
    Ansen  
       10 天前 via iPhone
    快进到上传被运营商限速
    0xfb709394
        9
    0xfb709394  
       10 天前 via iPhone
    @zhywang 应该是阿里云新用户 68 块首年 200m 轻量
    heyjei
        10
    heyjei  
       10 天前
    地下室潮湿问题如何解决?
    codegenerator
        11
    codegenerator  
       10 天前 via Android
    带宽不好解决,尤其是文件延迟大。可靠性太低,小区停电断网不可控
    springz
        12
    springz  
       10 天前
    潮湿只要一直开着机问题不大
    moyupai
        13
    moyupai  
       10 天前
    天啦 你家还有地下室和充电桩
    Markxu0
        14
    Markxu0  
       10 天前
    可以考虑托管,50M 电信单线 500 左右,总的下来省心,我就是这么干的
    Raynard
        15
    Raynard  
       10 天前
    我就这么干的,夏天潮湿的时候就开除湿机

    但我只下载不上传,所以和你也不大一样
    opengps
        16
    opengps  
       10 天前
    我前东家就是在负二车库把一个储藏室改成了机房
    nananqujava
        17
    nananqujava  
       10 天前
    还是不能解决断电断网后服务不可用问题, 之前我思考过类似方案, 可以以家庭主机为主, 云主机为辅, 云主机上冷部署一套和家庭主机一样的环境, 轻量云上跑个服务, 监控和观测家庭主机的服务是否在线, 假如家庭主机服务下线超过一定时间, 自动启动云主机的服务并把流量切换到云主机, 家庭主机恢复后,再切换回来, 并且把云主机的服务都下线节约钱
    bn
        18
    bn  
       10 天前 via Android
    是的,我也是整两台放车库了 R720xd 和 R730xd ,然后搞了一台 aws lightsail 用 openvpn tcp 组内网反向代理到家里,我倒没有隔离的需求。
    Ipsum
        19
    Ipsum  
       9 天前
    稳定性不得看大流量下 isp 会不会给你拉闸。
    bigtan
        20
    bigtan  
       9 天前
    @Markxu0 这是怎么做到的
    null2error
        21
    null2error  
       9 天前
    羡慕哦~
    不知道有没有机会在老家的房子里弄一套~
    qW7bo2FbzbC0
        22
    qW7bo2FbzbC0  
       9 天前
    @Ipsum 家里宽带放了京东云两三年了,最近 Ping 值周期性异常,摘掉京东云路由器就正常了,不知道是不是电信远程施法了
    mh494078416
        23
    mh494078416  
       9 天前
    我还在同城的两个家里部署了机器,算是同城双机房,加 两台同城云 vm 。通过 wireguard 组网,搭建成 k3s 集群。由 vm 里 traefik 作为流量网关,传递到 k3s 内部服务,东西向流量走 wireguard 内网通信了。
    数据库、ingress 都做了主备,可以应对一个家里的断电断网,一个 vm 的故障。
    Markxu0
        24
    Markxu0  
       9 天前
    @bigtan 是一个月 500 左右,一年得 6k
    mh494078416
        25
    mh494078416  
       9 天前
    家庭宽带上行能到多少?
    云主机和家庭主机延迟 5ms 这个怎么做到的。我的大概是 15ms
    esee
        26
    esee  
       9 天前 via Android
    同问轻量云这个价格怎么做到
    GeekGao
        27
    GeekGao  
       9 天前
    我在书房里放工作站,然后接了 5G CPE 。网络断后自动切换到移动运营商的无线网络。我这里市电供应比网络还要稳。
    sgwk
        28
    sgwk  
       8 天前
    国内?还是国外?
    daimaosix
        29
    daimaosix  
       7 天前
    @GooMS 卧槽,我还是用☁️吧,小主机也行,放服务器电费扛不住
    czzshr
        30
    czzshr  
       6 天前 via iPhone
    做好 ddns ,
    轻量云、5ms 延迟、wireguard 配置都省了。
    设置每天 5 点重启路由器,每天断网 1 分钟,其他时间都是稳定的。
    zsh2517
        31
    zsh2517  
       6 天前
    @imNull
    @zhywang 是不是前段时间阿里云出的那个 200Mbps 不限量但是据说共享带宽的那个?

    https://www.google.com/search?q=site%3Av2ex.com+%E9%98%BF%E9%87%8C%E4%BA%91+%E8%BD%BB%E9%87%8F+200Mbps
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   728 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:41 · PVG 03:41 · LAX 11:41 · JFK 14:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.