尊敬的用户:
因广东1区(GD1)所在IDC遭遇雷暴天气引发电力故障,昨天下午QingCloud广东1区全部硬件设备意外关机重启,造成QingCloud官网及控制台短时无法访问、部署于GD1的用户业务暂时不可用,对此我们深表歉意。现将事故完整过程报告给您:
13:48,我们收到GD1硬件及网络告警,并发现官网及控制台无法访问;工程师马上进行系统状态检查,发现GD1所有硬件设备出现重启;随即我们与GD1所在的IDC运营商沟通询问机房情况,同时排查其他可能导致设备重启的原因,并着手恢复管理服务(KS);其间,我们收到大量用户反映GD1业务中断;
14:08,操作切换DNS以恢复官网及控制台;
14:23,我们从IDC运营商处获知由于机房所在地区出现雷暴天气,机房因雷击引起UPS异常,机柜瞬时断电再加电,从而导致了青云的全部物理设备异常关机与重启;
14:38,GD1的管理服务恢复,Bots系统恢复,开始恢复用户主机;用户可以访问GD1资源;DNS完全生效,官网及控制台访问恢复;
15:15,内网DNS Server恢复;系统持续检查环境和帮助用户恢复业务;
16:19,GD1业务完全恢复,进一步检查后,于16:30分发布恢复公告。
本次严重故障从设备重启到用户业务恢复共耗时2小时31分钟,系统数据和用户的业务数据未出现任何丢失。
针对本次故障对您的业务造成的影响,我们对受影响的资源按照故障时间的10倍进行赔付,总共是2.5小时 × 10 = 25小时,赔付将以系统赠送的形式给大家进行发放。您可以在 充值记录页 进行查看。
再次,向您表示深深的歉意,也希望在您的支持和帮助下,不断提升我们的服务水平。 您也可以通过下述链接了解关于故障的更多细节。
关于2015年6月6日青云QingCloud广东1区(GD1)机房电力故障的详细说明
https://log.qingcloud.com/?p=924
青云QingCloud
1
shiny 2015-06-07 20:23:30 +08:00 1
我倒觉得值得同一天宕机的 LeanCloud 借鉴
|
2
robinray 2015-06-07 20:25:11 +08:00 via iPhone 1
妈蛋,你们服务起来了,老子的服务冷启动用了一天
|
4
wy315700 2015-06-07 21:01:41 +08:00 1
这才是大厂啊
|
5
kslr 2015-06-07 21:08:05 +08:00 via Android
做得不错
|
6
9hills 2015-06-07 21:59:55 +08:00 via iPad
从详细信息看是机房防雷不过关
|