うぇぶかにほん Webka.Jpうぇぶかにほん-駅と旅のガイドすみません、まだβ版です。
  Webka.Jp ホーム  >  ブログス  >  日本Web化計画  Peaceful Paradise Life
うぇぶかにほん公式ツイッター  うぇぶかにほん公式フェイスブック  Peaceful Paradise Life FILMS  最新記事のRSS
Peaceful Paradise Life
blog ホーム 旅、カメラ、そしてウェブ... 堀田けいすけのブログ
about
recent
tweet
movie
search
pepalife.com
ようこそ、ピースフルパラダイスライフへ
このブログは南国生活をする人のブログではありません。いつか、のんびり南国生活を夢見るおっさんブログです。
本当はもう、自分の力でどこにでも自由に行けるはずなのに、まだ、どこへも行っていない事に最近気がつきました。
でも、本当は夢見る南の島だって、どこにだって自由に行けるはずなのです。だから、そろそろ、ちょっと、そろそろ、と夢想しているおっさんブログです。
最近の記事タイトル (すべての記事タイトルを表示する
うぇうかにほん公式ツイッター
このブログの新しい記事の更新情報も[うぇふかにほん公式ツイッター]でチェック!
ブログ内
TAG
一人旅E-3国内の旅OLYMPUS地元神奈川横浜わんにゃん止まらない衝動本州タイ海外の旅映画PANASONICデジタルガジェット北海道動画ありPCトラブル音楽旅道具備忘録イベントトイカメラ神戸小豆島SONYソフト&アプリ九州夜景NIKONSEIKO旅(複数)PCスマートフォンパソコンGirlsAward鉄道アメリカウェブ浅田真央屋久島フィルムカメラあまちゃん撮影道具白谷雲水峡土讃線金比羅山四国パソコン周辺機器ロジクールiPod_touch4th台湾終わらない断捨離の記録RICHO-PENTAXアユタヤE-520高松摩耶山讃岐うどん道後温泉ポートタワー大部港予讃線ノニ風鈴動画横浜駅礼文島江ノ島浅草キャメロン・ディアス小樽グラム単位の軽量化FUJIFILMCANON大洗港松山駅LEICAXJAPANミニチュア風WiMAXバックパック香港南京町浜松青森東京駅日生駅水戸駅双子浦水戸黄門松山城瀬戸内海観音寺駅エンジェルロード日生港東京スカイツリー川奈汐吹公園スキンダイビング北海道&東日本パス平泉東伊豆シュノーケリングはやぶさJR東日本パス東北新幹線新青森予土線トレイルランニング阿波池田駅東北メリケンパーク富士山戸田恵梨香藤木直人中古車屋フリー写真素材福島駅水着スポーツジム実験阿部寛桂浜はりまや橋高知高知城窪川駅高知駅坪尻駅サッカー二俣川テレビジャガー琴平駅四万十川塔のへつり駅阿武隈急行線RADWIMPS被災地南会津会津鉄道スーザン・ボイルブライアン・セッツァーオルガ・キュリレンコレオナルド・ディカプリオ仲間由紀恵トム・ハンクスROSEROSE男鹿高原駅八重の桜ハワイCOSINAラオスカンボジアGM5ミャンマーGoPro会津田島駅大川ダム公園駅兜駅あぶくま駅秋の乗り放題パス豊川悦司ジョージ・クルーニー宗谷本線YMO名寄駅稚内駅三ノ宮駅きゃりーぱみゅぱみゅ角島大橋JRしおサイダー東北本線MAMMUTカラビナ二俣川駅熊ヶ根駅小樽運河いしかりライナー保土ヶ谷バイパスはまなすiPod_touch4thスマートフォン函館中井貴一LS-10Milky_Bunny水道橋駅東京ドーム伊予大洲駅八ツ森駅

ファーストサーバーのデータ消失事故の教訓

2012.06.24 (Sun) : ウェブとパソコン

うちの犬の写真
≫ 拡大する

Camera:OLYMPUS E-3 + Lens:ZUIKO DIGITAL ED12-60mmF2.8-4.0SWD

今、ネット上を騒がせているファーストサーバ大規模サーバ障害&全データ消失事故!被害を受けた企業は、なんと5000社以上なんだとか!

今回、運営するサイトの一つ、うぇぶかにほんが、その事故に巻き込まれてしまった。なんとサーバーの中のウェブサイトもプログラムもデータベースも各種設定までもが、跡形もなく消えてしまったのだ。

不幸中の幸いだったのは、他のサイトは、それぞれいろんな会社のサーバーに分散してリスク管理していたということだろいうか?もし、ここに全部のサイトがあったら・・・たぶん死亡してたかも。やっぱリスク分散は、大切だったということか。

しかし今回ばかりは、さすがに、本当に

(((((( ;゜Д゜)))))ガクガクブルブル を体験させてもらった!

その事故は、今週の水曜日(6/20)に突然起こった。

その日は私は、昼頃から夕方にかけて、うぇぶかにほんのデータを作っている最中だった。もちろん途中で何度も保存しながら。そして夕方6時過ぎ頃、保存ボタンを押すと、突然Internet Explorer の『503 Service Temporarily Unavailable』か『404 Not Found』かなんかの怖いエラーメッセージ画面が!

「あれ、なんか、やっちゃったかな???」

急いで[戻る]ボタンで元に戻るも、やはりエラーに。これは、おかしいと思い、サイトのホームを見てみると、やはりエラーになった。

「なんだ、サーバーがダウンしてるのか・・・」

その時は、よくあるサーバー障害かと思ったので、しばらく待つことに。しかし、7時になっても8時になっても一向にサイトが表示されない。これは変だと思ったので、ファーストサーバのサイトに行ってみたら「サーバー障害で復旧中」のアナウンスが。しかし、9時、10時・・・と時間は経過するも一向にサイトは復活しない。

これはマズいと思ったので、とりあえずこのブログと日本Web化計画の方にサーバー障害についての記事をアップ。

その後、深夜3時頃まで、ファーストサーバのサイトと2ちゃんねるとかツイッターを徘徊しながら情報を収集しつつ復旧や新たな情報の公開を待ったが、ファーストサーバ側から原因や経過の発表はなかった。

すでにサイトが表示されなくなって8時間が過ぎていたので、あきらめて、朝には復旧していることを祈って寝ることにした。朝7時半頃起床し、早速サイトを開く。しかしまだサイトは表示されていなかった。

「マジかよ・・・やばいじゃんかよ・・・嫌な予感がしてきた」

恐る恐るファーストサーバのサイトを開くと・・・。そこには、管理プログラムのバグによりWEB・メールなどデータが消失の可能性がある。復旧作業は継続しているが、同時にサーバーを初期化するので完了したらメールをすると書いてあった。

「データ消失ってウソだろ!?データベースもか???初期化したら空になっちゃうじゃんかよ」

それは、いまだかつて見たことがないとても恐ろしい内容であった。というのも昨日作っていたデータはもちろんだが、直近のデータのバックアップを今月はまだ取ってないことを思い出したからである。

すぐに思いついたのは、つい最近アップしたばかりの「東京スカイツリー特集」の記事である。バックアップは取ってないし、もしまだGoogleにキャッシュされてなかったら終わりである。すぐにGoogle検索のキャッシュを使って探してみる。

「うおぉーもうキャッシュされてた(歓)!」

すぐに東京スカイツリー特集のページをソースごとローカルに保存した。他のヤバそうなページも、バックアップを取ってあるページも、かたっぱしからどんどんGoogoleキャッシュを使って保存しまくった。

というのも、取ってあるデータベースのデータファイルが本当にちゃんと元とおりに再現されるかどうか、実際にやってみなるまでは不安でしかたなかったからだ。

万が一の時は、Googleキャッシュが書き換えられるまでが勝負である。ちなみにGoogleに保存されているキャッシュは、「cache:http://webka.jp/special/rep/no_201206101p1.html」のようにURLの前に「cache:」を付けると検索できる。

サイトはすでに19時間ほどエラー表示になったままだったが、とにかくどうにもならないので報告のメールが来るまでの間、ドキドキしながらGoogleキャッシュを保存する作業を続けた。ファーストサーバ側のデータの復活はすでにほとんどあきらめていたからだ。従業員100人以上の企業がこれだけ時間がかかっても一つも復旧できないってことは、つまりほぼ完璧にアウトってことだからである。

「ん、よく考えたらメールも死亡しているんだよな」

うぇぶかにほん用のメールアドレスがいまさらながら機能していないことに気がついて、ファーストサーバからの報告メールがちゃんと届くかを確認した。同時に、うぇぶかにほん宛てのメールが受信できないことをアナウンスする。

寝不足と単純作業の疲労感、悲しみ、怒り、諦め、時間、いらだち、不安が、潜在意識の不安を呼び起こして、頭が軽いパニック状態になっていた。もし、万が一、バックアップを使ってもデータベースが正常に再現できなかったら・・・うぇぶかにほんの1000ページほどのコンテンツが無に消えたら・・・ああ・・・考えただけでも死にたい気分になる。そんな時は、2ちゃんねるやツイッターで同じ被害者で、もっと悲惨な人をみつけて、自分をはげました。

そして午後3時半頃、ついに運命の「【重要】6月20日に発生のサーバー障害についてのご報告」メールが届く。その内容は・・・

「本障害では弊社メンテナンス作業において用いる特定の管理プログラムにバグがあり、お客様データが消失したことが判明いたしました。~中略~早期にサービスを復旧させるため、サーバーを初期状態に戻し、現時点で可能な範囲での復旧作業を実施しサービスを再開することといたしました。~中略~お客様にて以下に記載のサーバー初期設定方法をご確認いただき、メール送受信ならびに WEBコンテンツの公開作業をお願いいたします。」

少しは期待していたんだけれど、結局、朝から状況はまった変わってなかった。

最悪のシナリオである。

しかし、こんなひどい話はおそらく前代未聞ではないだろうか?一体、何がどうなったら5000社以上のデータを一瞬で吹っ飛ばすことができるのだろうか?本当にプログラムのバグなのだろうか?本当は、退職者が仕掛けた時限爆弾による報復テロとかキレた社員による社内テロとかじゃないのか?と思ってしまう。

すでにサイト停止から22時間ほど経過していた。とにかく嘆いていてもしかたがないので、初期化されたサーバの管理システムに入り、メールとFTPの設定を行い、まずはメール、そしてサイトと復旧作業を進めていった。

そして、データベースを再構築し、いよいよバックアップデータをインポートしてみる。緊張の一瞬である。というのもこれまで、データベースが飛ぶという経験がなかったので、テストでインポートを試したことはあったが、本物のデータでやったことは、これが初めてだからだ。インポートのボタンを押すとほぼ一瞬で完了した。サイトを見るとデータが復活していた。

「おおおー復活できるぞ!」

とりあえずサイトを「メンテナンス中」表示にし、復旧作業を続けた。翌日の午前中頃に、やっとひととおり終わったところで、重大なことに気がついた。サイトにデータが足りないページが予想よりも多くあるのだ。原因をよくよく調べると一つのバックアップファイルが前回より前のものだった。しかも一番、情報量の多いやつが。

あっちとこっちのミスが重なり、まさに踏んだり蹴ったりとはこのことである。

不幸中の幸いなのは、ウェブサイトのデータは、Googleがキャッシュに保存してくれているということである。これが今流行のクラウドの社内データとかECサイトの会員データとかだったらそうはいかない。まあECサイトであれば、かなり小まめにバックアップしているとは思うけど、クラウドの場合、そもそも情報漏洩(ろうえい)対策の為にローカル保存を禁止している会社も多い。しかも今回の事故では、そのクラウド向けのサーバーも逝っちゃったんだとか。

「クラウドの意味ねぇーじゃん・・・」

まあ、そんなこんなで、ひたすら復旧を続けていたんだけど、復旧の作業効率を上げる為に途中でプログラムを改善しはじめたりしてたら止まらなくなっちゃって、結局、プログラム作るのにけっこう時間とられた関係もあって、サイトが完全復旧を果たしたのが6/24(日)夕方であった。

サイトが消えてから仮再開まで約42時間、そこから完全復旧まで約54時間、合計約96時間(4日)もの時間と労力をロスしてしまった。

今回の事件の教訓、それは・・・

バックアップは忘れずに~! 

PCの基本だけど、これが一番重要なんだと改めて強く再確認したのであった。

≫≫バックアップと言えばこれ

では、また
スポンサード リンク
この記事に拍手・コメント・共有する
share
コメント(0)
ひと言でいいので、気軽にコメントしていってください!
あなたのそのひと言がこのブログ運営の原動力なのです。よろしくお願いします。

関連記事:ウェブとパソコン
スポンサード リンク
Profile
x
Author: 堀田けいすけ
駅と旅のガイドうぇぶかにほん及びPEPACOMのウェブディレクター。うぇぶかにほん公式ツイッターで「ほた」でつぶやき中~、顔写真はすでに10年以上前のもの~、
好きな**:PC/スマホ/一人旅/鉄道旅/降り鉄/乗り鉄/駅鉄/撮り鉄/鉄道ファン/カメラ/ロック/パンク/ハードコア/温泉/散歩/トレッキング/ハイキング/ウォーキング/サイクリング/焼肉/すし
Web Site
うぇうかにほん(Webka.Jp)日本には駅の数だけ旅がある。
うぇうかにほん公式ツイッター
Calendar
05 | 2023/06 | 07
- - - - 1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 -
スポンサード リンク
旅の計画に便利なサイト
人は皆、自分がなぜ生まれてきたのかを確かめるために生きているのです。でも、その答えがだせる人はめったにいません。もし、答えが知りたくなったら旅にでましょう。旅にでるのは、美しい景色を見にいくためです。美しい景色を見るとなんで自分が生まれてきたのかが、わかるといいます。
My recommendation