@leido
我測的比你早多了, 2015 年左右就在新加坡 office 測過, 用的 Singtel 試過了電信, 都是繞美國西岸的

看看 2023 的測試, 仍然一樣, 只有移動或聯通比較有希望。
https://www.tjsky.net/tutorial/633#i-10

反正都開關了, 有時間就出去走走吧。

@kukat 移動似乎在新加坡的 PoP 還不錯。

@simplove 新加坡家寬到中國的連線, 可能還不如美國的家寬

反而我想把所有中國政府的短信都擋掉，絕大部分是垃圾內容，但無孔不入，養著一張+86 卡但長期不在中國，公益短信和中國公民出國注意事項都與我無關，但十分討厭的是 10000 也有大量垃圾內容，基本把我的未讀訊息都淹沒掉

Cloudflare tunnel 倒也簡單，我在 nginx ingress 關掉 LoadBalancer 及掛 cloudflared 的 side car 就能用。

MetalLB Layer-2 ARP 模式跟 Keepalived 是相似的, 但配置簡單太多了。

這種模式的問題是, 只有一個 node 在提供服務

1. failover 需要的時間比較長
2. 流量集中在 elected leader 的一個 node 上

MetalLB BGP 就是解決流量集中的問題而生的, 利用 BGP 做出 ECMP 路由, 在內網製造 Anycast 的效果, 但首要條件是你內網路由器要有 BGP

Anycast 也不能在同一個 subnet 下運作, 例如 client 在 192.168.0.20/24, 而你的 Anycast IP 在 192.168.0.100/24, 這種配置是毫無意義的。

先說一下, Cloud natives 的 Load balancer 走的是 nodePorts, 每一台 node 沒有 node excluded label 的都是 node ports 的提供者, 例如 nodePort 35000 就是 kube-proxy 在所有 nodes 打開 port 35000, 進來的連線都是用 iptables/ipvs 指導到 pod IP 上。

你所提及的 VIP 方案, 用 MetalLB 的 ARP 模式就可以實現, 反正都是 failover 的單點方案。

上面提及的 MetalLB 及 Calico BGP 有點遠了, 應該是本人沒試過的才會這樣答, MetalLB BGP 根本不看 CNI 的, 那怕 CNI 是 Flannel 也可以使用 MetalLB BGP 啊。

樓上的都沒看過 fluid 就直接答吧, 既然 helm 出來有專用 fluid storageclass 就要先看看是否目標功能, 竟然都是不看直接修改的

Cloudflare 都上市了，盈虧數字都是公開的，這樣的吸金能力加上 bandwidth alliance 換來的廉價頻寬，還真的不怕

對內不劃分權限的話，用 k8s 分配 gpu 資源已經足夠，不必像 cloud 弄成 multi tenants 的，RTX 一類家用產品也有虛擬化的限制
https://github.com/NVIDIA/k8s-device-plugin

@xymeng16 好吧, 那手機資費比前幾年便宜了。順帶一提, 其實沒甚麼回國一說, 我本來就沒有中國戶籍。

那 colocation 的行情如何? 上面說 G 口一年五十萬, 我想是 IDC 那種而且是不限流量的吧。

@txydhr 反正我不在上海也不在中國, RMB100 能搞到無限流量及 1G 寬頻那聽起來還是很便宜的。
但家用的固網 1G, 上行有多少? 而且你能用這價格買到能作商用賺錢的流量資源嗎?

@zcjfesky 同意，基本上是經濟問題，再加上壟斷的結果。

經濟問題是，先不談暗盤的 G 口價格，只談流動數據包，真的很便宜嗎？

在西歐例如英國，SIM 卡起步價格高但量大便宜，例如英國 5GB 要£5 ，但 20GB 只要£10 然後£25 已經買到無限流量。
英國按月平均收入是£2773 ，無限流量的電話費佔月入不到 1%。

在中國，CMCC 流量包還是 50 元 6GB 和英國接近，省內流量會更便宜，但是月入就相差很多。

G 口價格來說，1Gbps Unmetered 的 colocation 只要£90 ，一年£1080 ，換算成 RMB 一萬不到。

網絡基建成本，中國能拼出優勢的是人力，以及光纖及管材等等國產材料，但路由器等等設備還是要對接上國際市場的價格，即使是有定價能力的華為，賣到國外能賺多點，也沒理由在國內便宜賣。

普遍的做法是, 內容商 ICP 在 IXP 提供免費 Open peering 為大宗, 然後再考慮付費的 Paid transit, 早在 2016 年 Cloudflare 就有解釋過他們的成本結構, IXP 有大量 ICP 進駐後坐擁流量, 成為了 ISP 對 IXP 投資頻寬的動力。
https://blog.cloudflare.com/bandwidth-costs-around-the-world/

上文已經提級過中國網絡是一個孤島

明顯可以看出的是中國是 Paid transit 為大宗, Free peering 基本不存在。

幾年後, Cloudflare 和其他 Hosting providers 組成的 Bandwidth Alliance 都為降低互連成本而努力, 動機是互利。但這種 Dynamics 在中國三大 ISP 不太可能會出現。

https://blog.cloudflare.com/bandwidth-alliance/

HBA 卡對 IOMMU PCIe Passthru 直接掛進 VM 比較方便, 雖然底板上的 SATA controller 也可以 Passthru, 但 HBA 通常更有價值。

@milukun 據我所知，B 站在 HKT 及 HKBN 也有自己的 cache servers ，但 HKT 的中國頻寬比 HKBN 好太多，而 B 站放在 ISP 的 cache server 應該只能用公網回源，所以會有分別也不足為奇。

@sampeng 回源到中國不可能避免，如果每次中國用戶上載內容到 B 站都會有一份 1:1 拷貝在其他國家，這反而會有合規問題，看看 DiDi 事件。

對中國的車款不熟悉, 但基本場景還是可以了解一下。

1. 車子用途? 例如每天通勤還是買菜或假日長途出遊?
2. 通常要載多少人? 有些人是一個人通勤用車, 但有長老需要出入也要用車。
3. 你家的停車位情況