mozilla.org 停電
正確なニュースリリースとかの情報が出ていないので、リファレンスを付けられませんが、一応までの参考情報としてまとめておきます。(時間はすべてJST)
最初に話があがったのが、19:08ころ、サーバにsshログインしようとしたらおかしいという話、その後一旦復活したりまた切れたりで、”誰がケーブルにけっつまずきやがった”とかいうポストが流れたけれど、statusサーバのoutageページは表示されていたのでよくわからん状態だったようす。
irc.moが21:40位に再復活して、on call担当のoremjがページ見れんなというのとmrzがcoloに向けて運転中というステータスを投げたのが21:58の時点。この時点で、どうやらMPTの停電らしいという話が出ている。
mrzが到着して、警備に停電が発生したと言われたというのが流れたのが22:30、その後徐々に復旧し始めて、サーバやらvmやらの再起動が始まった。で、ほぼ復旧したのが1時過ぎ、なのかな。とはいっても、いくつか細かいところで停止中のがあったり。
bmo的には、DBが落ちててもshutdownhtmlを表示できるようにするパッチがtrunkに入った直後だったので、まだbmo側のbranchが更新されてrealにpushされているわけもなく、、障害画面が表示されていたのでした(笑