うぇぶかにほん Webka.Jpうぇぶかにほん-駅と旅のガイドすみません、まだβ版です。
  Webka.Jp ホーム  >  ブログス  >  日本Web化計画  Peaceful Paradise Life
about
recent
tweet
movie
search
pepalife.com
ようこそ、ピースフルパラダイスライフへ
このブログは南国生活をする人のブログではありません。いつか、のんびり南国生活を夢見るおっさんブログです。
本当はもう、自分の力でどこにでも自由に行けるはずなのに、まだ、どこへも行っていない事に最近気がつきました。
でも、本当は夢見る南の島だって、どこにだって自由に行けるはずなのです。だから、そろそろ、ちょっと、そろそろ、と夢想しているおっさんブログです。
最近の記事タイトル (すべての記事タイトルを表示する
うぇうかにほん公式ツイッター
このブログの新しい記事の更新情報も[うぇふかにほん公式ツイッター]でチェック!
※PPL FILMS動画最新順、前へ/次へで動画を切り替えられます。
こちらもおすすめ→Webka.Jp FILMS
ブログ内
TAG
E-3一人旅Z.D.ED12-60mmF2.8-4.0SWDLUMIX_G20mmF1.7ASPH.E-P3htcEVO3D(ISW12HT)映画DMC-GF1タイドラマ旅(複数)E-M1横浜Z.D.ED50mmF2.0Macro音楽鉄道M.Z.D.ED12-40mmF2.8PRO動画バンコクスマートフォン夜景北海道IE8Z.D.ED50-200mmF2.8-3.5SWDInternet_ExplorerDSC-HX100VCP+Z.D.ED40-150mmF4.0-5.6DIGITAL_HARINEZUMI2富士山Z.D.ED9-18mmF4.0-5.6iPod_touch4thみなとみらいパソコン小豆島神戸PC秋の乗り放題パスウェブパタヤパソコン周辺機器東京スカイツリー宮崎あおいあまちゃん横浜ベイブリッジGirlsAward松山ケンイチM.Z.D.ED12mmF2.0E-M5江口洋介横浜駅白谷雲水峡アユタヤ浅草屋久島浅田真央横浜ランドマークタワー上戸彩Ai_Nikkor50mmf1.4GM1小樽大さん橋礼文島青森ロジクールM.Z.D.14-42mmF3.5-5.6ⅡR函館山下公園イベントコンパニオンE-520M.Z.D.14-42mmF3.5-5.6二俣川駅LS-10WiMAX大洗港四国渋谷土讃線戸田恵梨香松原商店街松田翔太江ノ島トラブル温泉上地雄輔金比羅山阿部寛Nikkor24mmf2.8Ai高松岡津町摩耶山風鈴ワット・アルンノニ藤木直人菅野美穂ポートタワー木村拓哉道後温泉東北本線JRiPad_miniXJAPANATOK西岸駅バックパック登別温泉角島大橋iPhoneAmazon稚内東京駅大部港予讃線シュノーケリング藤原竜也au石原さとみ綾瀬はるか讃岐うどんラン島仲間由紀恵八重の桜DVD妻夫木聡長崎益田駅LEICA_minilux枕崎駅熊本駅中井貴一瑛太松山駅ミニチュア風鹿児島本線佐藤浩市金沢駅キャメロン・ディアスレオナルド・ディカプリオ豊川悦司予土線四万十川窪川駅松山城瀬戸内海双子浦ジョージ・クルーニー汐吹公園エンジェルロード観音寺駅高知城高知五能線平泉オルガ・キュリレンコ阿波池田駅坪尻駅高知駅北海道&東日本パス川奈桂浜はりまや橋スキンダイビング日生港日生駅トレイルランニング蒼井ゆう平塚駅久大本線日の出ソニータイマー金沢八景JR東日本パスはやぶさ新青森iPod_touch4thスマートフォンIKEA夜明駅水戸黄門南京町有吉弘行阿蘇山浜松東伊豆指宿枕崎線秋田水戸駅深津絵里はまなす保土ヶ谷バイパス東北新幹線テレビサムスンXperia秋葉原AdobeiPadAir0.8秒と衝撃。あぶくま駅実験JR磐越西線塔のへつり駅会津若松駅中古車屋兜駅E-M1Z.D.ED50mmF2.0MacroBOSEスポーツジム旭川水着美瑛FC2ブログ共有テンプレートフリー写真素材札幌洞爺湖E-M10ボルボM.Z.D.ED14-42mmF3.5-5.6EZGoProIE10会津田島駅大川ダム公園駅BLANKEY_JET_CITYスーザン・ボイルRADWIMPS松嶋菜々子上野樹里長谷川博己二俣川サッカーROSEROSEトム・ハンクスジャガーブライアン・セッツァーリゾートしらかみ香里奈観月ありさ東北被災地南会津会津鉄道男鹿高原駅メリケンパーク阿武隈急行線ワット・サケットワット・ポーフワランポーン駅WOLリモートデスクトップ琴平駅谷川岳薩摩高城駅肥後二見駅西大山駅指宿駅水道橋駅三ノ宮駅山陰本線OM-1PEN_FPEN_FT初代PENE-PL5OM-3東京ドーム長野電鉄屋代線香港ミャンマー羽田空港ヘルニアAterm_BL900HWロト7宗谷本線名寄駅三角地帯THE_MAD_CAPSULE_MARKETSDVD-Rパスポート稚内駅博多駅エヴァンゲリオン白馬駅業平橋駅Z.D.ED14-42mmF3.5-5.6町田駅穴水駅のと鉄道大糸線糸魚川駅宗谷岬黒味岳納沙布岬苫小牧緑園都市駅和倉温泉駅大黒パーキング戸塚駅特牛駅唐津駅EOS-1DX立山黒部アルペンルートREGZA_Phone_T-01C熊ヶ根駅飛鳥Ⅱ海本牧魚津駅Milky_BunnyiOS伊予大洲駅横浜港CRASSしおサイダーBabylon伊万里駅Facebook佐世保駅たびら平戸口駅大村線酒田駅きらきらうえつ山形鳥取砂丘軍艦島南阿蘇鉄道長崎本線羽黒山横浜赤レンガ倉庫女鹿駅角館南部鉄道秋田内陸線土合駅福島駅阿蘇駅赤水駅めがね橋碓氷峠八ツ森駅出雲市駅小幌駅七尾線彦根駅カラビナMAMMUTウィルス米原駅小樽運河いしかりライナーYMOふじ丸初詣きゃりーぱみゅぱみゅ大橋のぞみスパイウェアFM戸塚嘉瀬駅ストーブ列車津軽鉄道東室蘭駅北舟岡駅豊岡駅十和田観光電鉄線上北町駅田儀駅七尾駅宇都宮駅福島郡山駅驫木駅

ファーストサーバーのデータ消失事故の教訓

2012.06.24 (Sun) 共有

うちの犬の写真
≫ 拡大する

Camera:OLYMPUS E-3 + Lens:ZUIKO DIGITAL ED12-60mmF2.8-4.0SWD


今、ネット上を騒がせているファーストサーバ大規模サーバ障害&全データ消失事故!被害を受けた企業は、なんと5000社以上なんだとか!

今回、運営するサイトの一つ、うぇぶかにほんが、その事故に巻き込まれてしまった。なんとサーバーの中のウェブサイトもプログラムもデータベースも各種設定までもが、跡形もなく消えてしまったのだ。

不幸中の幸いだったのは、他のサイトは、それぞれいろんな会社のサーバーに分散してリスク管理していたということだろいうか?もし、ここに全部のサイトがあったら・・・たぶん死亡してたかも。やっぱリスク分散は、大切だったということか。

しかし今回ばかりは、さすがに、本当に

(((((( ;゜Д゜)))))ガクガクブルブル を体験させてもらった!

その事故は、今週の水曜日(6/20)に突然起こった。

その日は私は、昼頃から夕方にかけて、うぇぶかにほんのデータを作っている最中だった。もちろん途中で何度も保存しながら。そして夕方6時過ぎ頃、保存ボタンを押すと、突然Internet Explorer の『503 Service Temporarily Unavailable』か『404 Not Found』かなんかの怖いエラーメッセージ画面が!

「あれ、なんか、やっちゃったかな???」

急いで[戻る]ボタンで元に戻るも、やはりエラーに。これは、おかしいと思い、サイトのホームを見てみると、やはりエラーになった。

「なんだ、サーバーがダウンしてるのか・・・」

その時は、よくあるサーバー障害かと思ったので、しばらく待つことに。しかし、7時になっても8時になっても一向にサイトが表示されない。これは変だと思ったので、ファーストサーバのサイトに行ってみたら「サーバー障害で復旧中」のアナウンスが。しかし、9時、10時・・・と時間は経過するも一向にサイトは復活しない。

これはマズいと思ったので、とりあえずこのブログと日本Web化計画の方にサーバー障害についての記事をアップ。

その後、深夜3時頃まで、ファーストサーバのサイトと2ちゃんねるとかツイッターを徘徊しながら情報を収集しつつ復旧や新たな情報の公開を待ったが、ファーストサーバ側から原因や経過の発表はなかった。

すでにサイトが表示されなくなって8時間が過ぎていたので、あきらめて、朝には復旧していることを祈って寝ることにした。朝7時半頃起床し、早速サイトを開く。しかしまだサイトは表示されていなかった。

「マジかよ・・・やばいじゃんかよ・・・嫌な予感がしてきた」

恐る恐るファーストサーバのサイトを開くと・・・。そこには、管理プログラムのバグによりWEB・メールなどデータが消失の可能性がある。復旧作業は継続しているが、同時にサーバーを初期化するので完了したらメールをすると書いてあった。

「データ消失ってウソだろ!?データベースもか???初期化したら空になっちゃうじゃんかよ」

それは、いまだかつて見たことがないとても恐ろしい内容であった。というのも昨日作っていたデータはもちろんだが、直近のデータのバックアップを今月はまだ取ってないことを思い出したからである。

すぐに思いついたのは、つい最近アップしたばかりの「東京スカイツリー特集」の記事である。バックアップは取ってないし、もしまだGoogleにキャッシュされてなかったら終わりである。すぐにGoogle検索のキャッシュを使って探してみる。

「うおぉーもうキャッシュされてた(歓)!」

すぐに東京スカイツリー特集のページをソースごとローカルに保存した。他のヤバそうなページも、バックアップを取ってあるページも、かたっぱしからどんどんGoogoleキャッシュを使って保存しまくった。

というのも、取ってあるデータベースのデータファイルが本当にちゃんと元とおりに再現されるかどうか、実際にやってみなるまでは不安でしかたなかったからだ。

万が一の時は、Googleキャッシュが書き換えられるまでが勝負である。ちなみにGoogleに保存されているキャッシュは、「cache:http://webka.jp/special/rep/no_201206101p1.html」のようにURLの前に「cache:」を付けると検索できる。

サイトはすでに19時間ほどエラー表示になったままだったが、とにかくどうにもならないので報告のメールが来るまでの間、ドキドキしながらGoogleキャッシュを保存する作業を続けた。ファーストサーバ側のデータの復活はすでにほとんどあきらめていたからだ。従業員100人以上の企業がこれだけ時間がかかっても一つも復旧できないってことは、つまりほぼ完璧にアウトってことだからである。

「ん、よく考えたらメールも死亡しているんだよな」

うぇぶかにほん用のメールアドレスがいまさらながら機能していないことに気がついて、ファーストサーバからの報告メールがちゃんと届くかを確認した。同時に、うぇぶかにほん宛てのメールが受信できないことをアナウンスする。

寝不足と単純作業の疲労感、悲しみ、怒り、諦め、時間、いらだち、不安が、潜在意識の不安を呼び起こして、頭が軽いパニック状態になっていた。もし、万が一、バックアップを使ってもデータベースが正常に再現できなかったら・・・うぇぶかにほんの1000ページほどのコンテンツが無に消えたら・・・ああ・・・考えただけでも死にたい気分になる。そんな時は、2ちゃんねるやツイッターで同じ被害者で、もっと悲惨な人をみつけて、自分をはげました。

そして午後3時半頃、ついに運命の「【重要】6月20日に発生のサーバー障害についてのご報告」メールが届く。その内容は・・・

「本障害では弊社メンテナンス作業において用いる特定の管理プログラムにバグがあり、お客様データが消失したことが判明いたしました。~中略~早期にサービスを復旧させるため、サーバーを初期状態に戻し、現時点で可能な範囲での復旧作業を実施しサービスを再開することといたしました。~中略~お客様にて以下に記載のサーバー初期設定方法をご確認いただき、メール送受信ならびに WEBコンテンツの公開作業をお願いいたします。」

少しは期待していたんだけれど、結局、朝から状況はまった変わってなかった。

最悪のシナリオである。

しかし、こんなひどい話はおそらく前代未聞ではないだろうか?一体、何がどうなったら5000社以上のデータを一瞬で吹っ飛ばすことができるのだろうか?本当にプログラムのバグなのだろうか?本当は、退職者が仕掛けた時限爆弾による報復テロとかキレた社員による社内テロとかじゃないのか?と思ってしまう。

すでにサイト停止から22時間ほど経過していた。とにかく嘆いていてもしかたがないので、初期化されたサーバの管理システムに入り、メールとFTPの設定を行い、まずはメール、そしてサイトと復旧作業を進めていった。

そして、データベースを再構築し、いよいよバックアップデータをインポートしてみる。緊張の一瞬である。というのもこれまで、データベースが飛ぶという経験がなかったので、テストでインポートを試したことはあったが、本物のデータでやったことは、これが初めてだからだ。インポートのボタンを押すとほぼ一瞬で完了した。サイトを見るとデータが復活していた。

「おおおー復活できるぞ!」

とりあえずサイトを「メンテナンス中」表示にし、復旧作業を続けた。翌日の午前中頃に、やっとひととおり終わったところで、重大なことに気がついた。サイトにデータが足りないページが予想よりも多くあるのだ。原因をよくよく調べると一つのバックアップファイルが前回より前のものだった。しかも一番、情報量の多いやつが。

あっちとこっちのミスが重なり、まさに踏んだり蹴ったりとはこのことである。

不幸中の幸いなのは、ウェブサイトのデータは、Googleがキャッシュに保存してくれているということである。これが今流行のクラウドの社内データとかECサイトの会員データとかだったらそうはいかない。まあECサイトであれば、かなり小まめにバックアップしているとは思うけど、クラウドの場合、そもそも情報漏洩(ろうえい)対策の為にローカル保存を禁止している会社も多い。しかも今回の事故では、そのクラウド向けのサーバーも逝っちゃったんだとか。

「クラウドの意味ねぇーじゃん・・・」

まあ、そんなこんなで、ひたすら復旧を続けていたんだけど、復旧の作業効率を上げる為に途中でプログラムを改善しはじめたりしてたら止まらなくなっちゃって、結局、プログラム作るのにけっこう時間とられた関係もあって、サイトが完全復旧を果たしたのが6/24(日)夕方であった。

サイトが消えてから仮再開まで約42時間、そこから完全復旧まで約54時間、合計約96時間(4日)もの時間と労力をロスしてしまった。

今回の事件の教訓、それは・・・

バックアップは忘れずに~! 

PCの基本だけど、これが一番重要なんだと改めて強く再確認したのであった。

≫≫バックアップと言えばこれ

では、また
スポンサード リンク
この記事に拍手・コメント・共有する
web拍手 share
コメント(0)
ひと言でいいので、気軽にコメントしていってください!
あなたのそのひと言がこのブログ運営の原動力なのです。よろしくお願いします。

関連記事:ウェブとパソコン
スポンサード リンク
Profile
x
Author: 堀田けいすけ
駅と旅のガイドうぇぶかにほん及びPEPACOMのウェブディレクター。うぇぶかにほん公式ツイッターで「ほた」でつぶやき中~
好きな**:PC/スマホ/一人旅/鉄道旅/乗り鉄/降り鉄/駅鉄/撮り鉄/カメラ/ロック/パンク/ハードコア/温泉/散歩/トレッキング/ハイキング/ウォーキング/サイクリング/焼肉/すし
Web Site
うぇうかにほん(Webka.Jp)日本には駅の数だけ旅がある。
うぇうかにほん公式ツイッター
Calendar
11 | 2016/12 | 01
- - - - 1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31
スポンサード リンク
旅の計画に便利なサイト
人は皆、自分がなぜ生まれてきたのかを確かめるために生きているのです。でも、その答えがだせる人はめったにいません。もし、答えが知りたくなったら旅にでましょう。旅にでるのは、美しい景色を見にいくためです。美しい景色を見るとなんで自分が生まれてきたのかが、わかるといいます。
My recommendation