みずほ銀行の教訓に学ぶ、KDDI障害再発防止策の焦点は「レジリエンス」

みずほ銀行の教訓に学ぶ、KDDI障害再発防止策の焦点は「レジリエンス」
https://xtech.nikkei.com/atcl/nxt/column/18/02152/072700002/

『後編

中田 敦、金子 寛人、高槻 芳、山端 宏実
日経クロステック/日経コンピュータ
堀越 功
日経クロステック

大規模通信障害の発生を受けてKDDIは2022年7月28日にも総務省へ報告書を提出する。報告書の焦点は、実効性の高い再発防止策を打ち出せるかどうかだ。一連のシステム障害を起こしたみずほ銀行も再発防止策を策定し、取り組みを進めている。緊急座談会の後編では、みずほ銀行の教訓から学ぶKDDIの再発防止策のポイントを探る。(司会は堀越 功=日経クロステック)

前編はこちら https://xtech.nikkei.com/atcl/nxt/column/18/02152/072600001/?i_cid=nbpnxt_sied_blogcard 

大規模障害を起こしたKDDIとみずほ銀行、運用体制の弱さに共通点

 KDDIとみずほ銀行のシステム障害に共通点はあるのか。KDDIが再発防止策を準備する中、みずほ銀行の事例から学べる教訓は何か。みずほ銀行とKDDIの障害を追ってきた日経クロステックの記者が集まり、緊…

2022/07/27

KDDIの通信障害が大規模化、長期化した理由として、昔と比べてモバイルネットワークが複雑になっている点が指摘されています。

日経クロステック高槻 芳: KDDIの通信障害は、制御信号と呼ばれる電話システム特有のトラフィックが、加入者データベース(DB)に集中したことが原因の一つです。モバイルネットワークでは、同期コミュニケーションである音声通話を必ずつながるようにするために、実際の音声データだけでなくさまざまな制御信号がやりとりされます。

 現在のモバイルネットワークは、IP網上でこのような音声通話の仕組みを再現している状態です。Webシステムなどと比べて、非常に複雑なトランザクション処理が必要になる点が違います。わずかなボタンの掛け違いで、雪だるまのように制御信号が増えてしまい、アクセスが集中する「輻輳(ふくそう)」状態に陥ります。

 金融システムもトランザクション処理があります。しかしモバイルネットワークの場合、数百万、数千万という規模で制御信号がやりとりされます。ここは少し特殊な部分だと思います。

通信会社が恐れる重大トラブル「輻輳」とは、KDDIの大規模障害で注目

 KDDIの携帯電話サービスで2022年7月2日未明から発生した大規模な通信障害。きっかけは機器交換のトラブルによるわずか15分間の音声通話の不通だったが、その対処中に発生した「輻輳(ふくそう)」によ…

2022/07/08

みずほ銀行のシステム障害も、DBに起因するトランザクションのエラーが原因の1つでした。

日経クロステック中田 敦:みずほ銀行の2021年2月28日のシステム障害は、DB周辺のトラブルが原因でした。定期預金システムで使っていたDBが、大量のトランザクションを処理できる設定になっていませんでした。

 定期預金システムのDBが処理できなくなったことで、その影響がメインフレームで稼働しているDBに波及し、エラーが起きました。エラーを抑えるために、メインフレームのDBへのトランザクションを絞る機構が働き、その影響でATMからのトランザクション処理が失敗して、ATMが通帳やカードを飲み込んだという流れになります。

 みずほ銀行の定期預金システムのDBは富士通製で、メインフレームのDBは日本IBM製でした。そのため定期預金システムを見ている担当者は、メインフレームにエラーが波及している状況を把握していませんでした。連鎖障害の影響を見極められなかった点が、システム障害を長引かせた大きな原因になっています。

 なお今回のKDDI通信障害では、「DBが輻輳」という表現が普通に使われている点に、違和感があります。情報システムの場合、「トランザクションがどれくらい失敗したのか」「レスポンスタイムがどれくらい遅くなったのか」「同時接続数をどれくらい減らしたのか」といった言葉で説明します。「DBが輻輳」では、何も語っていないのと同じです。

みずほ銀行システム障害を悪化させた、「エラー設計」と運用のミスを解説

 みずほ銀行で2021年2月28日に発生したシステム障害では、勘定系システム「MINORI」のサブシステムで発生したエラーがシステムの中枢に波及し、トラブルの範囲が拡大した。なぜエラーは連鎖したのか。…

2021/07/06

KDDIの通信障害は、利用者への周知が十分ではなかったという指摘があります。

日経クロステック金子 寛人: KDDIが通信障害発生後、最初に会見した際の高橋誠社長の対応について、ネットでは「社長なのにきちんと説明できている」という称賛の声があがりました。これはKDDIの実務担当者が障害の初動段階で、一般の利用者に対してどのような問題が起きているのか、きちんと説明できていなかったことの裏返しではないでしょうか。

 通信障害を起こしたKDDIは、総務省から「もっと顧客目線で情報開示すべきだ」という指摘を受けました。KDDIはその後、1時間ごとに情報を開示するように改めました。

 顧客目線で情報開示するという方向性は間違っていません。ただし1時間ごとに情報を小出しにするだけでは、利用者の不安はいつまでたっても消えません。もっと利用者の不安を解消するような情報開示の仕方があったのではないでしょうか。

 例えば「Wi-Fiのような代替手段があります」とか「Wi-Fiに接続すれば、対話アプリを使って音声通話ができます」など、利用者の目線に立った情報開示の方法はいろいろあったと思います。

KDDI通信障害の周知・広報が悪評を買った訳、解釈できず利用者に混乱を招く

 KDDIが2022年7月2~4日に起こした大規模通信障害を巡っては、利用者への周知・広報がまずかったとの指摘が多く出ている。金子恭之総務相も7月5日の記者会見で同社の周知・広報に苦言を呈した。とはい…

2022/07/20 』

『KDDIが「復旧作業が終わった」と公表後も、利用者レベルではつながらないケースがありました。

金子:KDDIの中では、復旧作業が終わったという意味での「復旧」と、利用者のレベルで使えるようになる意味での「回復」を使い分けていたと思います。しかし一般の利用者には、「復旧」と「回復」の違いがまったく伝わらず、混乱が生じました。

 やはり利用者目線で、技術を翻訳できる存在を常日ごろから育てていく必要があります。そうしなければ、このような緊急事態時に、人材育成ができていない点が明らかになってしまうでしょう。

みずほ銀行のシステム障害でも、顧客への情報開示が課題でした。

日経クロステック山端 宏実:みずほ銀行の2021年2月28日のシステム障害は日曜日に発生し、営業店に行員がいませんでした。その結果、カードや通帳をATMに取り込まれた利用者が立ち往生するという被害をもたらしました。

 みずほ銀行側で障害規模を的確につかめなかったため、営業店への行員の出勤指示が遅れました。結果的に行員への出勤指示が出たのは、障害発生から4時間以上が経過した同日午後2時25分以降です。

 広報が中心となって対応していたホームページ上の告知についても、部門間のやりとりに手間取り遅れました。対外告知を開始したのはシステム障害が発生してから3時間以上も後でした。

 みずほ銀行は、システム面に加え顧客への情報開示方法を含めて、再発防止策を策定しています。しかし先に触れたように、みずほ銀行は現在、経過観察期間のような位置づけです。実効性が担保できるような形で再発防止策が進んでいるのか、まだ検証できていません。

システム障害の警告を見落とした、みずほ銀行の組織的欠陥

 みずほ銀行で2021年2月28日に起きたシステム障害では、運用担当部門が警告を見逃したりエラーを適切に分析できなかったりした結果、トラブルが拡大した。運用担当者は貧弱なツールしか与えられず、電話や口…

2021/07/12

みずほ銀行は2022年1月に再発防止策を出しました。どのような内容でしょうか。

中田:細かい項目がずらりと並んでいます。

 みずほ銀行は2002年と2011年にも大きなシステム障害を起こしました。この2つのシステム障害は原因が明確で、やるべきことがはっきりしていました。例えば2011年のシステム障害は、勘定系システムの老朽化が大きな原因でした。再発防止策として、勘定系システムの刷新を進めるというシナリオを描けました。

 これに対し、今回のケースでは細かな原因が山程あります。全体像をつかむことは困難です。システム運用は、細かい点の積み重ねであることの裏返しかもしれません。

山端:みずほ銀行が10回以上起こしたシステム障害の技術的な共通原因を、誰もが探したくなります。しかし実際には見つけられず、その結果として企業風土の問題を指摘する声があります。再発防止策には、風土改革のためのさまざまな施策も含まれています。

中田:みずほ銀行の企業風土の問題にばかり耳目が集まっている点について、個人的にはあまりよくないと思っています。技術的な原因をきちんと指摘できないため、社風にその答えを求めているように見えるからです。

 経営者が心を入れ替えたり、社風を改めたりするだけで、システム障害がなくなることはありません。技術的な原因があるからこそシステム障害が起きます。その点を正しく修正しない限り、システム障害は続きます。

 KDDIの再発防止策においても、社風に原因を求めるのではなく、技術的な対策をきちんと示してほしいです。システム障害は必ず起きます。そこからどう素早く回復するのかがポイントです。レジリエンス(復元力)を高めることが重要になります。

みずほ銀行システム障害再発防止策の実像、DB統一や人材育成で安定稼働は成るか

 みずほ銀行はシステム障害の連鎖を止められるのか――。同行は現在、勘定系システム「MINORI」の安定稼働対策の見直しを進めている。MINORIのハードウエアは更新時期が近づいているため、それに合わせ…

2022/03/09

KDDIが近く公表を予定する報告書について、どのような内容を期待しますか。

高槻:トラブルは起きるという前提に立ち、総合的なシステムアーキテクチャーをいかに描くのかがポイントになると思います。報告書には、障害の原因や経緯が書いてあるだけではなく、それに対してレジリエンスを高める方策や、障害が起こることを前提にどのように対応するのかまで踏み込んだ内容を期待します。

 先ほど、モバイルネットワークは電話システム特有の複雑さがあると指摘しました。でも通信が重要な社会インフラになった今、いつまでも「特殊だ、複雑だ」とは言っていられないでしょう。利用者の目線に立った、普通の会社として説明をしてほしいところです。

山端:システム障害としては、東京証券取引所(東証)も2020年に、全銘柄の終日売買停止という障害を起こしました。

 東証は現在、米Google(グーグル)が提唱するシステム安定稼働の方法論「SRE(Site Reliability Engineering)」を踏まえて取り組みを進めています。例えば、障害対応の専門チームをつくったり、専門チームが扱う新たなシステムを構築したりしようとしています。

 新たなシステムでは、どこに障害が起きているのかを把握するだけでなく、障害によってどのようなサービスが影響を受ける可能性があるかを直感的に見られるようにしていきます。東証ではこのシステムを、業務部門の人でも見られるようにし、部門間の情報共有のタイムラグをなくすようにしていく計画です。

 東証はこれまで「ネバーストップ」というキーワードを掲げてシステム運用してきました。今後はこれに加えて「レジリエンス」も両立していくとしています。「ネバーストップ」と「レジリエンス」を両立する組織や仕組みをどのようにつくるのか。KDDIやみずほ銀行にとっても、東証の事例は参考になると思います。

東証・次期arrowheadの全貌、新方針レジリエンス確保へ3つの「秘策」

 東京証券取引所は2024年度後半をめどに、株式売買システム「arrowhead」を刷新する。2020年10月1日に発生したシステム障害による全銘柄の終日売買停止を受けて、「レジリエンス(復元力)」の…

2022/07/25

金子:航空業界では10年ほど前、米Boeing(ボーイング)の中型機「787」のトラブル多発を受けて、世界で同機が運航停止になったことがあります。この時、日本航空(JAL)のパイロットが「どんな機器であっても壊れるリスクを完全にゼロにすることはできない。ただ壊れ方にも、よい壊れ方と悪い壊れ方がある。『壊れました』とメッセージを出し、他のシステムに迷惑を掛けないよう静かに壊れるのがあるべき姿だ」と話したことを覚えています。

 みなさんが指摘する通り、システム障害はなくなりません。障害が起きた時に、いかに影響を最小化できるのか。壊れることを前提に、素早く回復するような仕組みが必要になります。

 加入者に黒電話をレンタルしていた電電公社の時代とは異なり、多種多様なデバイスがネットワークにつながるようになりました。通信事業者はすべてのデバイスをコントロールできません。それを前提に、いかにネットワークを維持管理していくのか。報告書ではそのような道筋を示してほしいです。

 KDDI自身、もはや社会インフラを担う大事な会社です。これまでの通信業界とはフェーズが変わっていることを意識しながら、再発防止策をつくってほしいです。

中田:KDDIは今回の教訓を、日本のインターネット技術者のミーティングである「JANOG」などでオープンに話をしてほしいです。2022年7月に開催されたJANOGのミーティングでも、携帯電話事業者のシステム運用監視におけるシステムインテグレーター依存が課題として取り上げられていたそうです。これが通信業界全体の課題だとしたら、業界全体で改善してほしいです。

 さらにはKDDI自身が、今回の通信障害についてのポストモーテム(事後検証)を書き、広く公開していくことも期待しています。』

みずほFG社長に木原氏昇格へ システム障害で体制刷新

みずほFG社長に木原氏昇格へ システム障害で体制刷新
https://www.nikkei.com/article/DGXZQOUB067OC0W2A100C2000000/

『みずほフィナンシャルグループ(FG)は10日、指名委員会を開き、4月1日付での辞任を表明している坂井辰史社長(62)の後任に木原正裕執行役(56)を昇格させる方針を決めた。一連のシステム障害を受けて社外取締役で構成する指名委が人選を進めていた。経営体制を刷新し、システム障害の再発防止と顧客の信頼回復をめざす。

金融庁に再発防止策などを盛り込んだ業務改善計画を提出する17日の取締役会で決議して発表する。木原氏は1989年に旧日本興業銀行に入行。みずほ証券の企画部門などを経験し、直近は投資銀行ビジネスのプロダクツをとりまとめるグローバルプロダクツユニット長を務めている。3メガバンクで初の平成入行のトップになる。木原氏は木原誠二官房副長官の実兄。

みずほ銀行の藤原弘治頭取も4月1日付での引責辞任が決まっており、すでに加藤勝彦副頭取の昇格が内定している。同日付で退任するみずほFGの佐藤康博会長の後任は空席を含めて引き続き検討する。

みずほ銀行では21年2月以降、ATMが止まってキャッシュカードや通帳が吸い込まれたり、手続きができなくなったりするシステム障害が相次いで起きた。利用者に影響が出たトラブルは計9回に及び、11月には金融庁から再発防止や経営責任の明確化を求める業務改善命令を受けた。

また、同年9月の障害時にマネーロンダリング(資金洗浄)対策に必要な手続きを省いて送金していたことが発覚し、財務省から外為法違反で是正措置命令も受けた。当初は坂井社長が続投して再発防止に取り組むとしていたが、度重なる障害を受けて経営体制の刷新が不可欠と判断した。

木原 正裕氏(きはら・まさひろ) 89年(平元年)一橋大法卒、日本興業銀行(現みずほフィナンシャルグループ)入行。みずほ証券財務企画部長、常務執行役員などを経て、21年みずほFG執行役、グローバルプロダクツユニット長。

【関連記事】
・みずほ、新世代に改革託す 社長に平成入行の木原氏
・統治改革に魂は入るか みずほの失敗、人ごとでない
・みずほ、坂井社長・藤原頭取辞任へ システム障害で引責 』

みずほが「キングギドラ」と呼ばれた理由

みずほが「キングギドラ」と呼ばれた理由、旧行意識でポストが“3の倍数”だらけ
https://diamond.jp/articles/-/286920?utm_source=daily_dol&utm_medium=email&utm_campaign=2022newyear

 ※ なるほど、「ポストの数」の問題もあるわけだ…。

 ※ 強力な、「統合を邪魔する行動」の「動因」となるな…。

『みずほが、不祥事を何度繰り返しても生まれ変われず、金融庁に「言うべきことを言わない、言われたことだけしかしない」と企業文化を酷評されるに至ったのはなぜか。その真相をえぐる本特集『みずほ「言われたことしかしない銀行」の真相』(全41回)の#17では、みずほの旧3行が繰り広げた壮絶なポスト争いを取り上げる。

持ち株会社のみずほホールディングスが誕生し、日本興業銀行、第一勧業銀行、富士銀行は翌年に分割・合併し、二つの銀行に再編される――。その当時まで時をさかのぼろう。
「旧行意識に固執し、統合の足を引っ張る人材は管理職としての資格を失うことになる」と、みずほ首脳は断言していた。ところが株式市場でみずほはその時、3本の首を持つ怪獣「キングギドラ」になぞらえられていた。

「週刊ダイヤモンド」2001年9月1日号特集「「興銀・一勧・富士 取引先100万社を巻き込む!『みずほ』統合の暴風」を基に再編集。肩書や数値など情報は雑誌掲載時のもの。』
『3行統合直後のみずほで持ち上がった

ミドルのポスト争い「50年問題」

 みずほグループのなかで、「50年問題」が、ミドルの話題に上っている。昭和50(1975)年入行、2001年の今年50歳の声を聞く行員が、前後の年次に比べて多いのだ。

 昭和50年入行といえば、第一選抜組はすでに部長になっており、遅れている人でも、まだ昇格を狙える位置にある。しかし、ただでさえ人が多いうえに、肝心のポストがまるで足りない。なぜなら、2002年4月の分割合併以降、持ち株会社であるみずほホールディングスは500人程度の小所帯になる。理屈でいえば、残るみずほコーポレート銀行、みずほ銀行のポストを3行で奪い合う構図だ。

次のページ
「旧行意識を排除」と叫びつつ、ポストが3の倍数で決まる不条理

(※ 有料会員限定記事。無料は、ここまで)』

みずほ、海外送金で外為法違反 障害で月内に最終処分へ

みずほ、海外送金で外為法違反 障害で月内に最終処分へ
https://www.nikkei.com/article/DGXZQOUB175Y60X11C21A1000000/
(2021年11月18日 21:00 (2021年11月19日 5:27更新))

 ※ はーん…。

 ※ 日付を見たが、昨日の夜の配信記事だな…。

 ※ こっちの方は、某国様のご意向があるから、そりゃトップ引責にもなるわけだ…。


『金融庁は今年8件のシステム障害を起こしたみずほ銀行と親会社のみずほフィナンシャルグループ(FG)に対し、月内にも追加の業務改善命令を出す。度重なる障害で企業取引を含め多くの利用者に影響が出たことを重くみた。障害時に海外送金で外為法違反の疑いのある対応をしていたことも新たに判明し、経営責任は一段と重くなる。障害が頻発する異常事態を収束させる再発防止策が問われる。

【関連記事】みずほFG、坂井社長辞任へ システム障害で引責

金融庁は近く、今年3月以降、続けてきた検査の結果をみずほに通知する。金融庁はシステム障害の頻発に伴い、検査途中の9月、システム更新作業などで新たなトラブルを招かないよう異例の業務改善命令を出し、当面の作業計画を提出させるなど監督を強めてきた。今回の業務改善命令は検査終了に伴うもので、経営責任の明確化や再発防止策づくりなどを求める最終処分になる。

関係者によると、金融庁は度重なるシステム障害の背景に経営管理体制に構造的な問題があったことを指摘する。みずほでは21年に入り、ATMに通帳やキャッシュカードが取り込まれたり、振り込みなどの取引が一時できなくなったりするシステム障害が相次いだ。

9月30日に発生した8度目のシステム障害時に、外為法が定める手続きを守らずに海外送金していたことが新たに判明した。外為法を所管する財務省が同様の情報を把握し調査を始めている。今後、外為法に基づき是正を求めるとみられる。

外為法は金融機関に対し、顧客の送金取引がマネーロンダリング(資金洗浄)の疑いがある規制対象取引かといったチェックを求めている。9月30日には外国為替取引システムで不具合が発生し、法人顧客の送金を中心に300件超が滞った。この際、規制対象か十分にチェックできないまま少なくとも数十件の送金を実行したとみられる。

金融庁は、みずほの基幹システム「MINORI」自体に、即座に全面改修が必要となるような根本的な欠陥はないと判断している。ただ、障害発生から復旧まで時間がかかったことや、事前の点検作業を徹底していれば防げた障害があった点を重くみている。

みずほFGの坂井辰史社長ら経営陣のシステム運営に対する認識の甘さがあったことも厳しくみている。システム運営に携わる人員を減らしたことが障害につながった一因とみている。
多様な観点からニュースを考える

※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

鈴木一人のアバター
鈴木一人
東京大学 公共政策大学院 教授
コメントメニュー

分析・考察

外為法に基づく海外送金管理はマネーロンダリングだけでなく、テロリストへの資金供与や核兵器などの開発への支援なども対象となる。

みずほ銀行のシステムトラブルを予見することはできなかったと思うので、そうした外為法違反事案が最初から意図してこの機会に乗じて行動したとは思えないが、それでもそうした事案が発生しているかもしれない状態で、チェックできなかったことは大きな問題。
金融システムは一民間企業の問題ではなく、公的なインフラとしての性格が強いだけに、しっかりしてもらいたいものである。

2021年11月18日 23:51 』

みずほFG、坂井社長辞任へ システム障害で引責

みずほFG、坂井社長辞任へ システム障害で引責
https://www.nikkei.com/article/DGXZQOUB18DMH0Y1A111C2000000/

『みずほフィナンシャルグループ(FG)の坂井辰史社長が一連のシステム障害の責任をとって辞任する意向を固めたことが18日分かった。みずほは社外取締役で構成する指名委員会を中心に新体制の議論を始める。金融庁は月内にも経営責任の明確化を求める追加の業務改善命令を出す。システム障害時に外為法違反の疑いのある対応をしていた事態も重く受け止め、トップが辞任し経営責任を明確にする必要があると判断した。

坂井氏は2018年4月から社長をつとめてきた。同氏が社長を退く意向を固めたことを受け、みずほは後任人事など次世代の経営体制の検討を急ぐ。退任する時期や退任後のポストは今後、調整する。

金融庁は近くみずほに通知する検査結果で、度重なるシステム障害の背景に経営管理体制の構造的な問題があったと指摘する。9月30日に発生したシステム障害時に、外為法が定める手続きを守らずに海外送金していたことが新たに判明した。外為法を所管する財務省が同様の情報を把握し調査を始めており、システム障害をきっかけに影響が広がっている。

金融庁はみずほの基幹システム「MINORI」そのものに全面改修が必要となるような致命的な欠陥はないと判断している。ただ、障害発生から復旧まで時間がかかったことや、事前の点検作業を徹底していれば防げた障害があった点を重くみて経営責任を厳しく問う姿勢をみせている。

【関連記事】みずほ、海外送金で外為法違反 障害で月内に最終処分へ

多様な観点からニュースを考える

※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

上杉素直のアバター
上杉素直
本社コメンテーター・論説委員
コメントメニュー

ひとこと解説

不祥事に絡むみずほのトップ交代というと、2013年に発覚した不適切融資が頭取交代につながった件が思い出されます。当時は金融庁がかなり深く関与する形で後継の人選が進みましたが、今回は社外取締役が仕切る指名委員会が後継社長の人選を主導しそうです。難しい課題を抱えるみずほのトップに社外取締役がどんな人物を選ぶのかが次の焦点です。
2021年11月19日 7:48 』

ドコモの通信障害 回復も一部でつながりにくく

ドコモの通信障害 回復も一部でつながりにくく
通信網は3時間後に復旧 利用制限で影響長引く
https://www.nikkei.com/article/DGXZQOUC14ARF0U1A011C2000000/

 ※ 『原因はネットワーク工事のトラブルだった。ドコモによると、14日朝から、あらゆるモノがネットにつながる「IoT」機器の制御システムのネットワーク工事を実施していたところ、想定外の問題が発生。ネットワークに負荷がかかり、携帯電話の通信網を含めて障害が起きたという。』…。

 ※ これも、よく分からん話しだ…。

 ※ 「想定外の問題」って、何だよ…。

『NTTドコモの携帯電話サービスで14日、全国規模の通信障害が発生した。同日午後5時ごろから、音声通話やインターネットの通信がつながりづらくなった。同社は約3時間後に通信網が復旧したと明らかにしたが、携帯電話の通信データの急増を防ぐために利用を制限したため、復旧後も影響が長引いた。総務省が報告を求める「重大な事故」にあたる可能性もある。

15日0時すぎになっても、SNS(交流サイト)ではドコモの利用者から「つながらない」「圏外で使えない」などの投稿が続いた。原因はネットワーク工事のトラブルだった。ドコモによると、14日朝から、あらゆるモノがネットにつながる「IoT」機器の制御システムのネットワーク工事を実施していたところ、想定外の問題が発生。ネットワークに負荷がかかり、携帯電話の通信網を含めて障害が起きたという。

午後5時ごろから全国規模で、ドコモの携帯電話の音声通話やデータ通信がつながりづらくなった。午後8時前に通信網の障害は復旧したが、携帯電話の利用の急増を避けるための通信制限を実施したため、復旧後も通信回線が混雑し、影響が長引いた。

ドコモは携帯電話の最大手だ。インターネットイニシアティブ(IIJ)など、格安スマートフォンを提供する仮想移動体通信事業者(MVNO)にも自社の通信回線を貸し出している。今回の障害ではMVNO事業者のサービスにも影響が出た。法人向けの契約、MVNOの契約を含めると、ドコモの通信回線の契約数は約8000万件に上る。スマホはキャッシュレス決済の手段にもなっており、通信障害の影響は大きい。

電気通信事業法は緊急通報を扱う通信サービスについて、3万人以上の利用者が1時間以上、通信を利用できない場合、総務省が報告を求める「重大な事故」と位置づけている。今回の通信障害の影響範囲はまだ明らかになっていないが、重大な事故にあたる可能性もある。生活インフラを担う企業として原因究明、徹底した再発防止策が求められる。ドコモは「大変ご迷惑をおかけし、深くおわび申し上げる」とコメントした。』

ドコモの通信障害、順次復旧 原因は「工事に伴うネットワーク輻輳」
https://www.itmedia.co.jp/news/articles/2110/14/news158.html

みずほ幹部「システム使いこなせず」

みずほ幹部「システム使いこなせず」 機器の故障頻発
https://www.nikkei.com/article/DGXZQOUB084DC0Y1A001C2000000/

※ 『みずほFGは2重故障について「ITベンダーからは4000年に1回と言われた」としています』とか、言い訳にならんだろ。

※ 特に、HDDは、壊れやすい(というか、「一定の時間を使用すれば、必ず壊れる。」)…。

※ だから、個人使用だって、S.M.A.R.T.とかに気を配って、「故障を、予測しようとしている。」…。

※ ましてや、法人使用、しかも、「絶対に、システムを止めてはならない」金融機関においてをやだ…。

『みずほフィナンシャルグループは8日、8月と9月に起きたシステム障害の原因分析と再発防止策をまとめた。8月20日の大規模障害は特定の機器で故障率が上がっていたのに見落とし、マニュアルの不備もあって適切に対応できなかったと総括した。記者会見した石井哲最高情報責任者(CIO)は「システムを使いこなせていない」と述べ、運用に問題があるとの認識を示した。

みずほ銀行は2021年に入り8度のシステム障害を起こした。8日には9月に起きた障害の原因などについて金融庁に報告書を提出した。

8月20日の障害では、19日夜に店頭での取引を処理するシステムにある富士通の機器が故障。機器は予備も含めて同時に壊れた。バックアップのサーバーにもデータが正しく複製されなかったため、災害対策用の拠点に切り替えた。翌日の開店までに復旧が間に合わず、全店での窓口業務が一時できなくなった。

壊れた機器と同じ型番の機器で故障率が上がっていた。みずほは15年に同じ型番の機器を複数入れ、最近になり機器の交換が増えていたが、適切に対応できなかったとみられる。
バックアップへの切り替えもうまくいかなかった。8月20日は災害対策用の拠点への切り替えに時間を要した。災害時にシステムをまるごと移管する手順はあったが、障害が起きた一部のシステムだけを移行させる方法が定まっていなかったためだ。今後はマニュアルを整備する。

みずほは19年に新システムを稼働したが、CIO自らが記者会見で「新システムを使いこなせていない」との認識を示した。システムに精通した人材が営業などの部署に移り、担当者を減らした弊害が出ている。

保守運用を担うベンダーとの連携も課題だ。再発防止策ではベンダー出身者の採用や出向をさらに増やすことも明確にした。

8度の障害のうち、3回は機器の故障が原因だった。故障の予兆を厳格に管理することも再発防止策に盛り込んだ。

今回の記者会見では、システム障害のきっかけとなった機器の故障原因は分からないとした。頻発する故障を見逃した理由も判然としない。原因分析に甘さが残る内容と言え、今後のシステムの安定稼働に不安を残している。

【関連記事】

・みずほ、システム作業絞り込み 金融庁に計画提出
・みずほ銀行、外為取引387件遅れ 今年8度目システム障害
・金融庁・みずほ、背水の陣 システム障害究明へ異例処分

多様な観点からニュースを考える

※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

浅川直輝のアバター
浅川直輝
日経BP 「日経コンピュータ」編集長
コメントメニュー

分析・考察

ストレージにおけるハードディスク装置の2台同時故障は、確かに珍しい事象ではありますが、設計やテストにおいて無視していい事象とは言えません。特に装置の型番が同一であれば、同じような時期に故障が起こる可能性は高くなります。1台が故障した場合、ストレージを再構成するためにもう1台がフル稼働し、それが新たな故障につながる恐れもあります。

みずほFGは2重故障について「ITベンダーからは4000年に1回と言われた」としていますが(参考:https://xtech.nikkei.com/atcl/nxt/column/18/00001/06125/)、特定の型番において、読み取り不良などによる故障率が足元で高まっていたとのこと。こうした2重故障も想定した復旧手順の整備を進めておくべきでした。

2021年10月9日 7:46 (2021年10月9日 7:47更新)』

みずほ銀行、外為取引387件遅れ 今年8度目システム障害

みずほ銀行、外為取引387件遅れ 今年8度目システム障害
https://www.nikkei.com/article/DGXZQOUB307Y20Q1A930C2000000/

『みずほ銀行で30日午後、システムの不具合により387件の外国為替取引に遅れが出た。主に法人顧客の送金が滞ったが大半は同日付で処理ができるめどがついたというが一部は翌日に持ち越す可能性がある。詳細な原因は特定できていない。みずほで顧客に影響が出るシステム障害が明らかになるのは今年に入って8件目。9月22日に金融庁がみずほのシステムを実質管理する業務改善命令を出したばかりだった。

みずほから他行宛ての送金で387件の遅れが生じたが、うち300件超は当日付で処理できる見通し。残り約80件は相手方の銀行との調整を続ける。10月1日には通常通り、取引を受け付けられると説明している。30日は企業の決済が集中する上半期の末日にあたる。送金の遅れは企業間取引の一部に影響を及ぼす可能性がある。

不具合が起きたのはみずほの外為取引システムと、銀行間の送金を担うネットワークをつなぐ部分で、決済が集中し負荷が大きくなったのが一因とみられる。

みずほ銀では今年2月以降、全国のATMの7割強が一時使えなくなるなどシステム障害が相次いでいる。3月12日の障害でも外貨建て送金の約300件が遅延した。ただ、当時は勘定系システムと外為決済システムをつなぐ部分のハード機器が故障したためで、今回とは原因も障害箇所も異なる。

みずほでは2002年、11年にも大規模なシステム障害を起こしてきた。19年に旧行のシステムを刷新し新勘定系システム「MINORI(みのり)」を全面稼働させたが、今年に入りみのりに関連するシステム障害が相次いでいる。

8度の障害はいずれも原因が異なる。みずほ銀の親会社のみずほフィナンシャルグループ(FG)の坂井辰史社長は8月20日の障害後に記者会見し「再発防止に取り組んでいるなかで、極めて重く受け止めている」と述べていた。

その後も続いた障害を重くみた金融庁は9月22日にみずほ銀と親会社のみずほFGに業務改善命令を出した。処分を受けたみずほは同日「システムの安定稼働に全力で取り組む」との決意をあらわにしたが、わずか1週間で新たな障害が起きた。金融庁は障害の再発を防ぐため、みずほのシステム改修や保守点検に関する計画を提出するよう求めていたが、改善計画の提出前に再び障害が起きた。

金融庁幹部は「処分から1週間ほどで再発し、厳しく受け止めている。まず復旧を最優先してほしい」としている。

【関連記事】
・みずほシステム、金融庁が「強行介入」 基幹系改修も
・みずほ銀行のシステム、金融庁が管理へ 異例の行政処分
・金融庁、みずほに業務改善命令 システムを実質管理
・みずほ銀行へ異例の処分 なぜ金融庁がシステム管理?

多様な観点からニュースを考える
※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

慎泰俊のアバター
慎泰俊
五常・アンド・カンパニー株式会社 代表取締役

コメントメニュー
ひとこと解説 金融機関におけるシステムは経営そのものです。オペレーションを明確に定義し例外なく徹底できるか、将来に向けてどのような打ち手を考えているのか(戦略)、組織内が縦割りにならず部門間の協力体制がとれているか、経営陣が技術について正しい意思決定をできる程度の知見を有しているか、などなど。どれか一つが欠けていても、システム刷新は難航します。

みずほほどの巨大システムとなると極めて難易度が高いのは想像に難くありませんが、社会へのインパクトに鑑み早期に収束することを願っています。

2021年10月1日 10:21いいね
4
上杉素直のアバター
上杉素直
本社コメンテーター・論説委員

コメントメニュー
ひとこと解説 ちょっと気になるのは、世間もみずほ自身もなんだかトラブル慣れしてきてしまったように見えることです。

「またか!」という声よりもむしろ、「やっぱり」という感想を漏らす人が目立つような気がします。障害、復旧、検査の繰り返しで、みずほのシステム部門の現場はすっかり疲弊してしまっているとの指摘もあります。現場で生じている悪循環を断つのが、システムを安定運用する最初の一歩でしょう。

2021年10月1日 7:36いいね
23 』

みずほシステム、金融庁が「強行介入」 基幹系改修も

みずほシステム、金融庁が「強行介入」 基幹系改修も
https://www.nikkei.com/article/DGXZQOUB222KV0S1A920C2000000/

『金融庁は22日、システム障害が相次ぐみずほ銀行と持ち株会社のみずほフィナンシャルグループ(FG)に業務改善命令を出した。みずほは障害の原因を解明できず、金融当局がシステムを実質管理する異例の処分となる。金融庁が関与を強めても、障害発生の防止につなげられるか不透明な面は残る。

金融庁はみずほのシステム運営を細かく監督し実質的に管理する。幹部は「みずほに原因究明を一任するのはもはや困難」と強調する。

具体的には、みずほがすでに金融庁に提出しているシステム改修計画を書き込んだ工程表の再検証と見直しを求めた。システムが安定して稼働するために不要不急だと判断すれば、改修や更新を延期してもらう。

みずほの基幹システム「MINORI」は日本IBM、富士通、NTTデータ、日立製作所の大手4社が参画して作った。金融庁内のシステム検査部隊は複雑に入り組んだシステムを点検することになる。数十人規模のチームで、普段は民間銀行のシステムを検査しているほか、サイバーセキュリティー対策に携わっている。他の金融機関への検査といった通常業務を抱える中で、みずほ関連の業務に回せる人手は限られている。

一方、過去に起きた不祥事の要因や責任を明確にするため立ち入り検査は継続する。22日の処分はあくまでシステム改修時の障害発生を防ぐことが目的で、現時点で経営責任を問うものではないとの位置づけだ。今後の検査で法令違反やガバナンス(企業統治)の欠陥などが見つかれば、金融庁はさらなる行政処分を検討する。

継続する検査の焦点は、システム障害が相次いだ根本的な原因だ。8月に発生した5回目の障害では、機器故障時に備えたバックアップシステムが作動せず複数のエラーが発生した。みずほが4500億円を投じて完成したMINORIの構造上の欠陥があるとの見方も金融庁内でくすぶる。場合によっては大規模な改修が必要となり、みずほにコスト負担が発生する可能性がある。

経営体制見直しも焦点だ。3月半ばまでに起きた4件の障害を踏まえ、みずほは6月15日に坂井辰史社長が役員報酬の50%を6カ月、銀行の藤原弘治頭取は50%を4カ月減らすなどの処分を公表した。相次ぐ障害発生でトップを含めた組織刷新を求める声も出ている。次の作業時にシステムが停止する懸念のある更新作業がいくつか迫っており、金融庁関係者は「次の障害が起きたら経営責任は避けられない」と話す。

システム障害を繰り返すみずほに向けられる視線は厳しさを増している。日銀の黒田東彦総裁は22日の記者会見で「大変遺憾で、金融庁と連携して実態把握につとめていく」と語った。

今回の処分は「銀行の箸の上げ下げまで口を出す」と言われた旧大蔵省時代の護送船団方式に先祖返りしたと受け取られかねない。「過剰介入ではないか」と話す他のメガバンク関係者もいる。

金融庁担当者は22日、「(システム障害の)真因の分析、その結果に基づく対応が重要だ」と話した。みずほだけでなく、金融育成庁への脱皮を目指している金融庁も試されている。

【関連記事】
・みずほ銀行へ異例の処分 なぜ金融庁がシステム管理?
・銀行システムに「完璧」なし 国内で年1500件の障害発生
・金融庁、みずほに業務改善命令 システムを実質管理 』

金融庁・みずほ、背水の陣 システム障害究明へ異例処分

金融庁・みずほ、背水の陣 システム障害究明へ異例処分
https://www.nikkei.com/article/DGXZQOUB21CQ30R20C21A9000000/

金融庁は22日にもみずほフィナンシャルグループとみずほ銀行に対して業務改善命令を出し、異例となるシステムの「管理命令」をあわせて発動する。みずほは度重なるシステム障害の原因を完全に特定できておらず、異例の行政介入を招くことになった。金融庁も自ら銀行システムを管理して「無策」との批判をかわす狙いだが、障害が再発すれば共同責任を負うことになる。みずほも金融庁も、そろって背水の陣だ。

みずほは今年2月以降、7回のシステム障害を起こした。個人利用者のキャッシュカードがATMに吸い込まれただけでなく、企業の外貨建て送金が滞るなどビジネスにも甚大な影響が出た。

問題はシステム障害の原因を完全に特定できていないことだ。8月の今年5回目の障害は、バックアップなどの処理がきちんと発動できず、店頭の受付業務ができなくなった。8月末に金融庁にあげた報告書では「さらなる調査や確認が必要」と原因を突き止められず、自らのシステム運営能力の限界を示すことになった。

金融庁はみずほの自浄能力の乏しさにも懸念を強めている。同行は2018年にもATMがキャッシュカードを吸い込む同様のトラブルが約1800件起きていた。にもかかわらず、システム改修などの必要な措置をしなかったことが今年になって判明。金融庁の今後の管理下では、こうした対応のひとつひとつがつぶさに点検されることになる。

異例のシステム管理に打って出る金融庁も、追い込まれている。当初は今夏にもみずほに業務改善命令を出して事態を収束させる段取りを描いていたが、システム障害が止まらず機を逸した。みずほは02年の新銀行発足以来、たびたびシステム障害を起こしており、金融庁にも「無策」との批判がつきまとう。異例の長期検査にいったんの節目をつくるには、問題解決の前になんらかの行政処分をうつ必要に迫られていた。

金融庁はみずほ銀が進めるシステムの更新作業や保守業務を共同で管理して、原因究明と再発防止をともに狙う。同庁にはシステム運営やサイバーテロ対策を専門に検査する数十人規模の部隊がある。エンジニアら専門家を派遣して、みずほの基幹システムに欠陥がないかくまなく検査する方針だ。

ただ、金融庁にとって、障害の原因究明ができていないみずほのシステム運営に関与すれば、今後は共同責任を負うことになる。再びシステム障害が起きれば、利用者らの批判の矛先は金融庁にも向きかねない。原因究明と再発防止を確実に実行できるか。金融庁にとっても大きなカケとなる。』

みずほ銀行のシステム、金融庁が管理へ 異例の行政処分

みずほ銀行のシステム、金融庁が管理へ 異例の行政処分
https://www.nikkei.com/article/DGXZQOUB219WX0R20C21A9000000/

『金融庁は週内にも、ATMなどの障害が多発するみずほフィナンシャルグループとみずほ銀行に対し、異例の行政処分となるシステムの「管理命令」を発動する方針だ。年内いっぱいをメドに、同行が進めるシステムの更新作業や保守業務を共同で管理し、必要に応じて運営体制の見直しも命じる。金融当局がシステム運営を直接監督することで障害再発を最小限にとどめ、金融システム不安への波及を防ぐ。

みずほは今年2月以降、7回のシステム障害を起こし、利用者の不安が広がっている。機器の改修などを進めているが、基幹システムそのものに欠陥がある可能性もあり、障害再発のリスクがぬぐえない。そのため金融庁は21日、みずほ銀に行政処分の発動方針を伝えた。業務停止などの命令ができる銀行法26条に基づき、金融庁の管理下でシステムを運営するよう命じる考えだ。

銀行システムを金融当局が管理するような行政処分の発動は初めてだ。金融庁はみずほに対し、まずはシステム運営に負荷のかかる新規事業やサービスの停止を求め、システムの点検を最優先するよう求める。金融庁とみずほが共同で危機対応チームをつくり、当局がシステム運営を直接管理するようにする方針だ。当面は年内いっぱいかけて、システム改修にあたる方針だ。

ATMがキャッシュカードや通帳を吸い込んで利用者を長時間足止めした2月28日の障害は、デジタル口座への移行作業が発端となって起きた。今後はこうした作業を進める際にも金融庁が事前にチェックし、準備作業やバックアップ体制が十分か点検する。

基幹システムに欠陥があれば、抜本的な改修を求める可能性もある。みずほの基幹システム「MINORI」は2019年に4500億円をかけて完成させた。金融当局はみずほの人的ミスだけではなく、基幹システムの「MINORI」そのものに欠陥がある可能性もあるとみており、当局の判断次第ではみずほに追加のコスト負担が発生しかねない。

金融庁は2月の大規模障害の発生後からみずほ銀に立ち入り検査をしている。当初は9月中に業務改善命令を発動する方向で検討していたが、8月以降も立て続けにシステム障害が発生するなど、混乱は収まっていない。金融庁がシステム運営を直接管理することで原因究明を急ぐ。

みずほは新銀行発足時の02年に大規模なシステム障害を起こし、11年の東日本大震災直後にもATMなどが動かなくなる大規模な障害が発生した。いずれも金融庁は業務改善命令などを出し、経営陣の責任問題に発展した。

今回は抜本的なシステム運営体制の点検がまず必要とみている。システム問題の根本原因を解明してから、金融庁は行政処分を左右する経営責任の所在を明確にする考えだ。

【関連記事】金融庁・みずほ、背水の陣 システム障害究明へ異例処分

この記事の英文をNikkei Asiaで読む 』

みずほ子会社、受託先システム文書を消失

みずほ子会社、受託先システム文書を消失 16年の障害で
https://www.nikkei.com/article/DGXZQOUB013WN0R00C21A9000000/

※『みずほフィナンシャルグループ(FG)の子会社でシステムの運用管理を担うみずほリサーチ&テクノロジーズ(MHRT)が、受託先の日本カストディ銀行から預かったシステム開発に伴う関連データを消失していたことが明らかになった。5年前にMHRTで起きた障害が原因で、バックアップも機能しなかった。』

※『複数の関係者によると、消失したのは「要件定義書」と呼ばれる委託元(日本カストディ銀行)からベンダーへの発注書にあたる文書の電子データだ。ネットワークの構成図のほか、システムの安定稼働率を示す「可用性」や機能追加や性能向上のしやすさを示す「拡張性」、外部からの攻撃を防ぐ「セキュリティー」など、最も重要な機能を定義している。』

※『要件定義書はシステム障害時に復旧作業の道しるべになったり、システムを更新・刷新したりする際に機能を継続させるのに必須の資料だ。紙や電子上に保存しておくのが決まりで、消失すれば、復旧に時間がかかったり、事故原因の解明が難しくなる。』

※『事務規定書に基づいて整えるべき60超のうち20弱の要件定義書が存在していなかったという。そもそも作成していない可能性や破棄していた可能性もあるといい、カストディ銀との共同調査に切り替えた。』…。

※ なんとも「イヤハヤ…。」な話しで、言うべき言葉も無い…。

※ 電子データは、これがあるからな…。

※ だから、「紙ベース」でも処理可能なように、「紙データ」でも残しておく方がいいんだ…。

※ 3.11の時に、海水に浸かった書類を乾かして、手作業で事務処理行った例が、思い起こされる…。

※ 日本の官公庁が「ファックス」にこだわるのも、意味の無いことじゃ無いんだ…。

※ 「クラウド」に上げておけばいい…、と言う向きもあるが、この「災害列島」で、どの地域の「サーバー」に上げておけば、万全なのか…。

※ また、どの国のサーバーに上げておけば、万全なのか…。

※ 海外サーバーは、被災を免れたとして、それにアクセスできる「国内の端末」は、確保できるのか…。

※ そういう「災害時のデータ」とか、揃っているのか…。

※ 結局、最後は、「想像力」の勝負となる…。

『みずほフィナンシャルグループ(FG)の子会社でシステムの運用管理を担うみずほリサーチ&テクノロジーズ(MHRT)が、受託先の日本カストディ銀行から預かったシステム開発に伴う関連データを消失していたことが明らかになった。5年前にMHRTで起きた障害が原因で、バックアップも機能しなかった。カストディ銀が金融庁に報告した。

MHRTは今年に入って6度の障害が起きたみずほ銀行の新システム「MINORI(みのり)」や、周辺システムの運用管理も担っている。MHRTはみのりを含め、システム関連文書の管理について日本経済新聞の取材に、「顧客納品物を管理する開発環境すべてについて、バックアップ取得および監視機能のシステム化を図り、開発文書の保管について強化を図っている」と書面で回答した。

複数の関係者によると、消失したのは「要件定義書」と呼ばれる委託元(日本カストディ銀行)からベンダーへの発注書にあたる文書の電子データだ。ネットワークの構成図のほか、システムの安定稼働率を示す「可用性」や機能追加や性能向上のしやすさを示す「拡張性」、外部からの攻撃を防ぐ「セキュリティー」など、最も重要な機能を定義している。

要件定義書はシステム障害時に復旧作業の道しるべになったり、システムを更新・刷新したりする際に機能を継続させるのに必須の資料だ。紙や電子上に保存しておくのが決まりで、消失すれば、復旧に時間がかかったり、事故原因の解明が難しくなる。

カストディ銀の指摘で発覚し、MHRTが調査していた。関係者によると、MHRTは消失したことを認め、復元作業を進めているものの「完全復元には至らない」と答えているという。
事務規定書に基づいて整えるべき60超のうち20弱の要件定義書が存在していなかったという。そもそも作成していない可能性や破棄していた可能性もあるといい、カストディ銀との共同調査に切り替えた。

カストディ銀はみずほFGの持ち分法適用会社で、投資家から預かった運用資産を管理する銀行。預かり資産の合計は約467兆円(21年3月末)に上る日本最大の資産管理銀行で、20年7月にみずほFG系と三井住友トラスト・ホールディングス系の資産管理銀行が合併し誕生した。

りそな銀行や第一生命保険、明治安田生命保険、かんぽ生命保険、富国生命保険などの資産も管理しており、みずほグループの会社間のトラブルという構図ではない。

MHRTの調査内容によると、消失は2016年8月に開発ファイルサーバーのディスクが故障したのが原因。使用不能になったうえ、頼りのバックアップ機能はそれ以前に壊れていた。復元作業を進め、カストディ銀に対し「ベンダーと協力し、主要な開発文書は復元できた。影響はない」と伝えていた。

これに対してカストディ銀は、第三者評価を入れた本格的な調査に入る必要があると判断した。少なくとも14~16年の間の開発文書が消失しており、具体的にどの程度復元できているのか、完全復元できていない場合、業務にどのような悪影響をもたらすかを精査する。カストディ銀は金融庁に被害報告を提出した。

MHRTは日本経済新聞の取材に対し、「個別のことについて、お答えできない」とした。カストディ銀は「MHRTと協力して実態を確認中」と答えた。

MHRTは今年4月、みずほ総合研究所とみずほ情報総研、みずほトラストシステムズの3社が合併してできた。カストディー銀の文書消失はみずほトラストシステムズで起きた。

(金融エディター 玉木淳)』

みずほ報告書の全容判明

みずほ報告書の全容判明、システム「設計通りか点検」
https://www.nikkei.com/article/DGXZQOUB30BTT0Q1A830C2000000/

 ※ 「なんだかなあ…。」という感じだ…。

 ※ この期に及んで『巨費を投じて開発した新システムが「当初想定した設計となっているか点検を検討する」』のかよ…。

 ※ 『傘下のみずほリサーチ&テクノロジーズでみのりに関わっていた人数が18年3月末から3年間で約7割減るなど「人員の減少などが、システム開発および運用に不可欠な技術力を弱めた可能性を否定できない」』…。

 ※ 人員コストを削って、「利益を出せばいい。」というものでも、あるまいよ…。

『みずほフィナンシャルグループ(FG)が2021年に入り6度のシステム障害を起こした問題で、新システムの総点検やバックアップが機能しない場合の復旧手順の整備などを盛り込んだ報告書の全容が明らかになった。原因はなお特定できておらず、巨費を投じて開発した新システムが「当初想定した設計となっているか点検を検討する」としている。

報告書はおよそ50ページにのぼる見通しで、障害が起きた原因と再発防止策、障害対応の過程を明らかにしている。金融庁と文面を調整しながら31日夕にも正式に報告書を提出する。

発端になった富士通の機器の故障を最初に検知したのは19日の午後8時前だった。故障したディスク装置を予備の装置に切り替えようとしたが失敗。店頭取引のシステムが全面停止する可能性を認識したのは、21時半ごろだ。その後バックアップのサーバーに切り替えようとしたが、それも失敗した。

「エラーで失敗」「復旧が成功しない」「再起動に失敗」――。報告書からはさまざまな復旧手順を夜通し試しては復旧できない様子が浮かびあがった。結局、朝の開店までに間に合わないと認識したのは翌朝6時ごろだ。

ここで初めて復旧のめどが11時頃になるとの報告があり、コールセンターの体制を整え、午前8時半にホームページにシステム障害の告知を掲載する判断を下した。午前10時45分には午後5時から記者会見を開くことを確認し、準備を始める。システムが全面的に復旧したのは正午ごろのことだった。

ホームページでの告知が開店30分前までずれ込んだことについて報告書では「営業部店の開店時刻を考慮して判断時限をあらかじめ設定するなどのタイムマネジメントや全体を俯瞰(ふかん)した対応指示をするために、役員も含めた連携体制や情報連携のインフラ整備を検討する」とした。

みずほはコールセンターなど顧客の問い合わせに対応できる体制を整える時間が必要だったと説明してきたが、報告書では窓口やコールセンターでの対応時間の前倒しも検討するとする。

みずほでは2月末から2週間足らずで4件の障害が発生。その後、みずほ自身が6月に策定した再発防止策を実行に移す途上で、8月20日と23日にも再び障害が起きた。キャッシュカードの紛失登録が遅れたため、1件の不正引き出しが起きていたことも新たに分かった。

金融庁は原因究明を求めて持ち株会社のみずほFGとみずほ銀行、みずほ信託銀行に31日を期限に報告を求めていた。ただみずほは報告書で「ディスクが壊れた理由も偶然か、他の要因が内在しているのか現時点では不明で、さらなる調査・確認を進めていく必要がある」とした。

みずほは2019年に現行の新勘定系システム「MINORI(みのり)」を稼働した。6月にまとめた再発防止策でもシステムの点検や訓練の実施を盛り込んだが、20日の障害はみのりの基幹部分と店頭の取引を処理するシステムをつなぐ部分で発生した。このため秋までに「これまでの総点検のカバー範囲を確認するとともに、みのり本体を点検対象とすることや実機での稼働確認」の追加検討を盛り込んだ。

8月20日に起きた障害では、原因となったディスク装置が故障した後、予備の装置に切り替えようとしたが正常に起動しなかった。このため障害時にバックアップが作動しない場合の復旧手順も整える。

人員配置や障害時の対応が十分だったかの検証も改めて進める。2~3月に相次いで起きたシステム障害を踏まえて第三者委員会が6月にまとめた報告書は、傘下のみずほリサーチ&テクノロジーズでみのりに関わっていた人数が18年3月末から3年間で約7割減るなど「人員の減少などが、システム開発および運用に不可欠な技術力を弱めた可能性を否定できない」と指摘していた。

システムに障害はつきものだが、バックアップが正常に機能しなかったため多くの利用者の取引に影響が出た。このため「ハードウエア故障や(バックアップへの)自動切り替えが想定通りに作動しないケースなどの復旧手順の整備、訓練の実施」も盛り込んだ。

報告書では再発防止策をまとめながら、再び障害を起こしたことに関して「システムリスクについてみのりの特性を踏まえた適切な管理体制が構築されているか、顧客影響が十分に考慮された運営体制になっているか」といった観点から経営レベルでの管理体制の強化に取り組むとしている。

これから取り組む再発防止では「組織の隅々まで、行員の一人ひとりに浸透させて自発的な取り組みにつながるよう徹底していく」と強調した。

【関連記事】みずほ障害報告書要旨、カード紛失登録できず不正利用

多様な観点からニュースを考える
※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

滝田洋一のアバター
滝田洋一
日本経済新聞社 編集委員

コメントメニュー
ひとこと解説 「エラーで失敗」「復旧が成功しない」「再起動に失敗」――。頼みのバックアップがことごとく稼働しない、8月19日から20日にかけてみずほの現場には、焦燥感ばかりが募っていたはずです。これだけ複合的な要因が重なるようでは、いまだに原因を特定できないのも不思議ではありません。

今やみずほのシステムに新たなトラブルが生じても誰も驚かないでしょう。むしろトラブルが生じ、翌日の営業再開までに修復が間に合わない事態を前提に、業務体制を構築することが必要な段階に入っているように思えます。

顧客に対して、トラブルの原因が分からないので、新たなトラブルが生じかねませんと認めたうえで、営業するのが正直というものです。

2021年8月31日 11:54いいね
32

上杉素直のアバター
上杉素直
本社コメンテーター・論説委員

コメントメニュー
ひとこと解説 6回目の障害から1週間たって、まだ原因を特定できていないという状況に不安を感じます。システムがよほど複雑なのか、業者とのコミュニケーションがうまくいっていないのか、みずほの担当部署になんらかの問題があるのか。

この段階になって、システムが当初想定した設計になっているかが論点になるということにも驚かされます。疑問は尽きません。

2021年8月31日 8:50いいね
96 』

みずほシステム障害頻発、浮かぶ3つの課題

みずほシステム障害頻発、浮かぶ3つの課題
https://www.nikkei.com/article/DGXZQOUB272G90X20C21A8000000/

 ※ 良記事だ…。

 ※ しかし、『課題③みずほ自身が新システムを理解していない』とか、オイオイ…という感じだ…。

 ※ 預金者(顧客)のことを、考えているのか…。

『みずほフィナンシャルグループ(FG)で今年に入り6件のシステム障害が相次いで起きた。決済システムの中核を担うメガバンクで利用者に影響が出るトラブルが頻発する異常事態だが、いまだ明確な原因は特定できていない。金融庁が命じた障害の原因や経緯などの報告期限が31日に迫る。なぜみずほだけ障害が多発するのか。原因を探ると3つの課題が浮かび上がる。

課題①障害に備えたテストや訓練が不十分

みずほ銀行のシステムが他のメガバンクと異なるのは、基幹システムを全面刷新した点だ。2019年に稼働した新システム「MINORI(ミノリ)」は1980年代につくられた「第3次オンラインシステム」を全面刷新する巨大プロジェクトで、開発に4000億円超をかけた。

一方、三菱UFJ銀行は1987年に導入した第3次オンラインシステムを継続利用しており、三井住友銀行が2025年までに移行する次世代勘定系システムは1994年導入の第4次オンラインシステムをベースにシステムを拡張する予定だ。

もちろん刷新することが悪いわけではない。みずほの場合は、つぎはぎのシステムが過去の大規模障害につながった教訓から巨費を投じて全く新しいシステムをつくり直した。ただし、新システムの稼働時には想定外の障害が起きやすい。

とくにミノリのような巨大なシステムでは「開発段階であらゆる障害を想定するのは不可能」(システムエンジニア)だ。むしろ「障害が起きること」を前提にテストや訓練という運用面の備えが求められるが、結果的にみずほの備えは不十分だった。

災害や障害に備えた訓練は各行とも定期的に実施している。三菱UFJ銀はインターネットバンキングやATMなど複数のシステムで定期的にバックアップ訓練を実施し、多くの機器で導入時に定めたテストの規定にのっとって有事に正常作動を続けられるかチェックしている。システム面だけでなく緊急時に確実に情報が伝えられるかなどの訓練も実施している。

みずほも定期的にバックアップ機能を含めた訓練を実施していた。2~3月に起きた障害を踏まえた再発防止策では、システム障害に備えた訓練に、複数のシステムにまたがって起きる複雑な障害シナリオを追加。6月からベンダーも参加する訓練を始めたばかりだった。「今回はそれが生きた部分はあった」(坂井辰史社長)というが、8月20日の障害の原因となった機器の故障は「極めてレアケース」で事前想定できていなかった。

企業のシステムで障害の発生やバックアップにうまく切り替わらないことは珍しくないが、迅速に対応できれば傷は浅い。準大手ベンダーのエンジニアは「事業継続計画(BCP)対応が甘かったのではないか」と指摘する。石井哲・グループ最高情報責任者も「障害時の事業継続プランは当然考えていたが、十分ではなかった面がある」と認め、25日に開いた社員向け説明会では「どんなにレアなケースでも復旧手順を整えておかなければいけなかった。大変重く受け止めている」と反省を述べた。

課題②司令塔が機能していない

もう一つの課題が司令塔の不在だ。ミノリは富士通、日立製作所、日本IBM、NTTデータのITベンダー4社がそれぞれ心臓部の重要な部分を分担して開発した。複数ベンダーがかかわるのは銀行システムでは一般的だが、他メガには中心となるベンダーが存在する。三井住友銀行ではNECが主要ベンダーとしてSMBCグループと二人三脚で開発に取り組むほか、銀行自身も人材を育成し「勘定系システムを内製化してノウハウを蓄積してきた」(増田正治取締役兼専務執行役員)。

大手行は経営統合に伴うシステム統合を経験している。その際に意思決定の仕組みをきちんとつくれていたか。みずほは主要ベンダーが4社に分かれている分、司令塔役のみずほは4社とやりとりしながら判断する、より高度な役割を求められる。同じ障害を繰り返す実態は、みずほグループ内の意思決定構造や組織体制が不十分だということを露呈した。
課題③みずほ自身が新システムを理解していない

「みずほ自身がシステムを理解できていないことが最大の問題のようにみえる」。他の銀行のシステム部門で働く人はいう。ミノリは高性能でも、理解して使いこなせなくては意味がない。第三者委員会の報告書や記者会見からは、「障害が発生しにくい仕組み」とされた「サービス指向アーキテクチャー(SOA)」を採用したミノリで障害が頻発している真因をみずほ自身が解明できていないようにみえる。

伊勢神宮は20年ごとに社殿を丸ごと建て替える(三重県伊勢市)

銀行システムを手がける大手ベンダーのコンサルタントは「伊勢神宮の式年遷宮のように、定期的につくり替える際に技能と経験の伝承を図ることが重要。これを怠るとブラックボックスになってしまう」と解説する。長期にわたるシステム開発や稼働後の人員体制の変更で、システムを熟知する人材が減り、技能やノウハウも伝承されてこなかった可能性がある。「ミノリの開発が終われば、あとは自動運転モード」と、陣容を含めた運用を軽視した可能性が浮かぶ。

デジタル対応の成否が企業の競争力を分けることを考えれば、障害を恐れて古いシステムを塩漬けにし続ければ済むという問題ではない。みずほの一連の障害は、システム刷新に伴うリスクを認識して対応できる体制づくりや技術・ノウハウの伝承の重要性を浮き彫りにした。「高性能なシステム」は十分な運用体制に支えられて初めて力を発揮する。

(フィンテックエディター 佐藤史佳、五艘志織、デジタル政策エディター 八十島綾平)』

みずほシステム障害、混乱の16時間 原因なお特定できず

みずほシステム障害、混乱の16時間 原因なお特定できず
報告書案
https://www.nikkei.com/article/DGXZQOUB30CH50Q1A830C2000000/

 ※ この記事の書き方だと、「物理ディスク(※ HDDベースか、SSDベースかまでは不明)」が正・副同日で「機器故障」したのが、主たる原因ということだ…。

 ※ しかし、そういう「物理機器」は、どの金融機関でも同じように使用しているハズだ…。

 ※ それなのに、みずほだけが「大規模システム障害」になるのは、何故なのか…。

 ※ そこいら辺が、さっぱり分からんな…。

※ ネットで拾った画像だ…。

※ 通常、金融機関が「合併・統合」すると、「規模の大きいところ」の「基幹勘定系システム」に寄せて行く…。

※ しかし、みずほの場合、それが「できなかった」らしく、「基幹勘定系システム」をそれぞれ残した…。

※ そして、それを「リング状につなぐ」システムである「MINORI」という新システムを開発した…。

※ おそらく、旧「基幹勘定系のシステム(COBOLで書かれたものも、残存していると思われる)」の細部まで「分かっている人」も、「その資料」も、もはや残ってはいないんだろう…。

※ そこいら辺が、根本的な問題なのか…。

『みずほフィナンシャルグループ(FG)で8月19日夜に起きた機器故障に端を発したシステム障害は頼みのバックアップがことごとく稼働しない誤算が重なり、復旧までに16時間を要した。すでに今年4度の障害を起こしてきたみずほは最悪の事態を想定し、早めに判断・行動するという教訓を生かせたのか。日本経済新聞が独自入手した報告書案から混乱ぶりを再現した。

システム障害発生と顧客対応に関する事実認識

8月19日午後7時40分に物理ディスク装置の一つが故障し、ミラーディスクに切り替わるとともにスペアディスクへのコピーが始まった。午後8時52分に切り替え先のディスクでも故障が発生し、同53分に業務統合チャネル基盤で複数のエラーが発生した。同基盤の停止に伴い営業部店端末のすべてが使えないことを踏まえ、午後10時2分に障害一報を発信した。

システム障害を伝えるみずほ銀行の張り紙(20日午前、大阪市中央区)

国内営業部店の運営を統括する法人業務部・個人業務部は8月19日午後9時20分に企画管理部より障害情報の共有を受け、速やかに翌20日の営業部店実施事項を検討した。午後10時30分以降、継続的に開かれた部会などを通じて状況把握につとめ、午後11時10分には法人業務部・個人業務部はエリア長らとのミーティングを始めた。

復旧が翌日の営業開始までに終わらない場合に備えて、営業部店の役職者以上に翌朝の午前7時30分までに出勤させると判断し、午後11時20分に営業部店長に指示した。

8月20日午前6時の第2回非常対策PT会議で、システムの復旧めどは午前11時で、開店時間を超過するとの報告を受け、お客様告知とコールセンターの開設時間を午前8時30分とし、同時刻にホームページに告知掲載した。メディアへの情報発信はホームページ掲載のタイミングで各社に連絡した。

記者会見対応は、度重なる障害に伴うおわびを含めて、適切な状況説明が必要との観点から必要な要員をあらかじめ確保した。8月20日午前10時45分ごろ、坂井辰史社長、藤原弘治頭取を主な説明者とする記者会見を同午後5時から開く方向で検討を始めた。

システム障害について謝罪するみずほFGの坂井社長(左)とみずほ銀行の藤原頭取(20日、東京・丸の内)

店頭などでは大きな混乱にこそ至らなかったものの、システムの全面復旧は午前11時58分となり、国内の他行向け円建て仕向け送金・海外向け円建て仕向け送金で、日銀ネットのシステム時限である午後2時55分までに送信が完了しなかった。

8月19日午後11時42分にカードの紛失登録依頼の電話を受けたものの、端末による紛失設定ができず、翌20日午前8時57分に他行ATMで50万円が引き出される不正があった。

障害発生の原因分析と2~3月に起きた障害との関係

今回の障害は物理デスクの故障が直接の原因だが、2つのディスクが同日故障した理由が偶然か、他の要因が内在しているかは現時点で不明であり、さらなる調査・確認を進めていく必要がある。復旧に向けた対応を進めるなかで、営業部店の開始時刻を意識したタイムマネジメントが十分でなく、対応案を比較した上で、判断時限をあらかじめ設定する対応ができていなかった。

現在、最重要・重要決済業務を担い原則停止不可のシステムについて、9月末を期限に保守期限を超過している機器の有無を確認している。他社で採用が見送られている機器の情報をベンダーから収集するなど、定期的にハード機器の点検を行い、予防保守へ生かす取り組みを検討している。

ディスク機器について、保守期限超過がないことは確認済みだが、今回の障害を踏まえて、ベンダーによる点検結果(ディスクの使用年数、故障回数、故障率など)を管理し、予防保守に活用するなどの追加対応が必要と認識している。

これまでの稼働確認は「顧客に不都合な仕様」などの観点で行ったため、MINORI(みのり)本体とチャネル系システムとの間に位置する業務チャネル基盤は点検対象外としていたが、今回の障害を踏まえて、点検範囲を再検討する。

今回のように自動切り替えが想定通り作動しないケースでも迅速に復旧させる手順・マニュアルが整備されているか、追加点検が必要だ。対応手順の選択の誤りが発生しており、外為事務処理の時限を意識した復旧対応力の継続強化が必要と認識している。

改善・再発防止策

みずほ銀行は6月15日に一連のシステム障害を踏まえた再発防止策を公表し、「多層的な障害対応力の向上」とそれを支える「人と組織の持続的強化」について組織全体として取り組んできた。しかしながら、2月、3月のシステム障害に続き、今回の障害が起きたことを重く受け止め、みのりの特性を踏まえた適切な管理体制が構築されているか、リソース配分・運営がシステムリスクへの潜在的な影響を与えていないか、有事における対応体制は適切に構築されているか、顧客影響が十分に配慮されているかなどの観点から、経営レベルでの一層の管理体制の強化に取り組んでいく。

予防的な観点から、ハードウエア機器の経年劣化・故障回数・故障率などについて定期点検の実施などの追加対応を検討する。これまでの総点検のカバー範囲を確認するとともに、みのり本体とチャネル系システムをつなぐ基盤系システムを点検対象とすることや、実機での稼働確認を追加検討する。

ハード故障の原因を踏まえ、みのりシステムについて、当初想定した設計になっているか点検を検討する。顧客影響が顕在化していない初期段階においても、最大影響を想定し、対外告知に必要な対応を確認のうえ、告知予定時刻の前倒しを検討する。SNSによるプッシュ型告知はホームページ告知と同時並行的に準備を進めることを徹底する。

【関連記事】
・みずほ報告書の全容判明、システム「設計通りか点検」
・みずほシステム障害頻発、浮かぶ3つの課題 』

みずほ障害、バックアップ欠陥 「多重防御」機能せず

みずほ障害、バックアップ欠陥 「多重防御」機能せず
https://www.nikkei.com/article/DGXZQOUB231P50T20C21A8000000/

 ※ みずほの5回目のシステム障害についての話しだ…。

 ※ 『みずほ銀行の基幹システムは東京23区外にある。正副の2系統あり、障害時にすぐ切り替えられるように備えている。今回はまず正系統のディスク装置の機器が破損。正系統内の予備の装置に切り替えようとしたが、これも起動せず、同じ拠点内の副系統に切り替えようとしたが、これにも失敗した。』…、と言うことだ…。

 ※ 「ハードの破損」の場合は、切り替えできない「仕様」にでもなっているのか…。
 ※ 何のための「バックアップ」なんだ…。

 ※ 大体が、「合併・統合」により生まれた金融機関なんで、「基幹勘定系」が4系統もある…。

 ※ それで、それを「統合」するのは諦めて、「MINORI(みのり)」とか言う「4系統」を「リング状につなぐ」、新システムを導入したハズだ…。

 ※ その「MINORI(みのり)」システムが、障害が生じたときに、上手く「バックアップに切り替わる」ところまで、実験・検証がされていない…、ということなのか…。

 ※『20日の記者会見で、みずほFGの石井哲最高情報責任者(CIO)は「ホットスタンバイのハードウエアで切り替わる仕掛けになっていた」と説明しているが、なぜすぐに切り替わらなかったのかは不明なままだ。』

 ※ そういうことで、「最高情報責任者(CIO)」が務まるのか…。

 ※『みずほFGは新システムの開発を富士通、日立製作所、日本IBM、NTTデータの4社に委託した。ただし全体を管理するのはあくまで委託元のみずほFGで、みずほ銀行、みずほ信託銀行、みずほFG子会社のみずほリサーチ&テクノロジーズ(MHRT)が運営している。MHRTはさらに再委託する複雑な枠組みで、開発から運営まで一括管理する体制が不十分になっている構図が浮かぶ。』…。

 ※ やはり、ベンダー各社は「直接は責任を負わず」、「みずほFG子会社のみずほリサーチ&テクノロジーズ(MHRT)」なるものが「責任を負う」体制になっていたんだな…。

 ※ ベンダーは、みんな、「逃げた」んだろう…。

 ※ こういう「継ぎ接ぎ(つぎはぎ)システム」は、必ずどこかに「バグ」なり、「穴」は避けがたい…。

 ※ さりとて、4系統の基幹勘定系に抜本的なメスを入れるわけにもいかんだろうしな…。


 ※ なにせ、旧各行の「創業以来の」取引勘定を、引きずっているわけだからな…。

※ 作業部会の多さを、見てくれ…。旧各行のそれぞれの部門が、我も我もと参加したんだろう…。旧各行間で、主導権争いをしている(今風に言えば、”マウント取り合ってる”)から、「それ!乗り遅れるな!」という心理が働いたんだろう…。

※ そうなると、「船頭多くして、船山に上る」になってしまう…。

※ まあ、みずほは、全てがこれだな…。

『みずほフィナンシャルグループ(FG)で20日起きたシステム障害で、バックアップ体制に欠陥があることが明らかになった。影響を最小限におさえるための「多重防御」が不十分で、復旧までに時間がかかった。システムの開発が4社にまたがり、さらに再委託するなど複雑な運用もベンダー任せの構図につながっている。

【関連記事】
・みずほ銀行、ATM130台一時使えず 今年6回目の障害
・みずほ銀行、止まらぬシステム障害 まとめ読み
・みずほ、障害を過小評価 早朝になって「間に合わない」

障害は19日午後8時57分に発生し、翌20日に全店舗の窓口業務を一時停止する事態に発展した。

みずほ銀行の基幹システムは東京23区外にある。正副の2系統あり、障害時にすぐ切り替えられるように備えている。今回はまず正系統のディスク装置の機器が破損。正系統内の予備の装置に切り替えようとしたが、これも起動せず、同じ拠点内の副系統に切り替えようとしたが、これにも失敗した。

このため、みずほは千葉県内にある災害対策用の予備の拠点のバックアップを使おうとした。だが千葉拠点の正系統へのデータ移行にも失敗した。「最後のとりで」となる千葉の副系統に切り替え始めたのは20日の朝方だった。同ルートでの復旧を確認し、起動を終えた時はすでに20日午前9時の営業開始時間を過ぎていた。

システム運用では通常、機器の故障に備えて同じ機能を持つサーバーなどの機器を用意し「ホットスタンバイ」と呼ぶ二重稼働の状態にしておく。これに対し、機器を用意しておくものの、故障時に新たに起動させる必要がある状態を「コールドスタンバイ」と呼ぶ。
みずほの千葉拠点は都内の拠点からデータ自体は流し込まれているものの、異常時には手動での切り替えが必要で「ホット」状態にはあたらない。しかし「コールド」状態よりは素早く対応できる「ウォーム」状態にして備えてあったという。

他のメガバンクでも予備のシステムを同時に稼働してシステム障害に備えている。金融機関どうしの送金に使われる全国銀行データ通信システム(全銀システム)は全国で計4系統を同時に稼働させることで、障害時に予備系統を立ち上げる必要すらない仕組みとしている。

20日の記者会見で、みずほFGの石井哲最高情報責任者(CIO)は「ホットスタンバイのハードウエアで切り替わる仕掛けになっていた」と説明しているが、なぜすぐに切り替わらなかったのかは不明なままだ。

今回のみずほ障害は「機器の故障が引き金になったというが、バックアップが機能しないということはソフトウエアにも問題があったということ。そもそも正しく備えられていたのか」(メガバンク関係者)との声もあがる。

みずほFGは新システムの開発を富士通、日立製作所、日本IBM、NTTデータの4社に委託した。ただし全体を管理するのはあくまで委託元のみずほFGで、みずほ銀行、みずほ信託銀行、みずほFG子会社のみずほリサーチ&テクノロジーズ(MHRT)が運営している。MHRTはさらに再委託する複雑な枠組みで、開発から運営まで一括管理する体制が不十分になっている構図が浮かぶ。

金融庁は追加で報告命令を出し、立ち入り検査も延長する方針だ。今回、明らかになったのは、みずほのシステムに複合的な欠陥が存在する可能性だ。手続きをチェックし、対策に不十分な点がなかったか調べてきたが、それだけでは本質的な原因をあぶり出せなかった。

金融庁幹部は「一連の障害はみずほFG全体の構造問題を映し出したもの。真因を究明するまで徹底的に調査する」と語る。メガバンクのみずほで起きた一連の障害は金融システム全体にとっても影響が大きい。システム障害のたびに業務改善命令を出してきた金融庁も複雑なシステムの根っこに潜む問題に迫れるか。監督・検査能力を試される。

(五艘志織、金融エディター 玉木淳)

多様な観点からニュースを考える
※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

上杉素直のアバター
上杉素直
本社コメンテーター・論説委員

コメントメニュー
ひとこと解説 いざというときのバックアップ機能の不備は、昨年起きた東証のシステム障害でも批判を浴びました。

どんなに高価な機器やシステムを用意しても、使いこなせなければ意味がありません。たとえば先週起きた障害に対処するバックアップの訓練をいつどんな形で行っていたのか、みずほに説明してほしいところです。

2021年8月24日 7:42いいね
43 』

みずほ銀行、ATM130台一時使えず

みずほ銀行、ATM130台一時使えず 今年6回目の障害
https://www.nikkei.com/article/DGXZQOUB235AT0T20C21A8000000/

 ※ ちょっと、これはオカシい気がする…。

 ※ 何らかの「工作」、「攻撃」のニオイがする…。

『みずほ銀行は23日、ATMの一部が昼すぎから一時使用できなくなっていたと発表した。ネットワークが不安定になったのが原因とみられる。全国で最大130台が一時使えなくなったが、午後1時半ごろまでに復旧した。通帳やキャッシュカードの取り込みはなかった。みずほ銀行で利用者に影響が出るシステム障害が明らかになったのは今年に入って6回目。

入出金の途中にATMが止まり、預金の引き出しなどができなかったケースが8件あったが、復旧後に手続きを終えたという。みずほ銀行では、20日に機器の故障が原因で全国の店舗窓口で取引ができなくなる事態が起きたばかり。2021年に入りすでに5度のシステム障害を起こしており、改めて早期の改善策が求められそうだ。

【関連記事】

・みずほに再び報告命令 金融庁、障害の頻発を問題視
・みずほ、再発防止つまずき 5度目障害も顧客へ周知遅く
・みずほ銀のトラブル「信頼損ない遺憾」 官房長官

多様な観点からニュースを考える
※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

上杉素直のアバター
上杉素直
本社コメンテーター・論説委員

コメントメニュー
ひとこと解説 先週金曜のシステム障害の報に「これで5ストライク」と断じる声が経済官庁から聞こえてきました。週明け早々「ストライク」の数がさらに増えてしまいました。

システムに故障やトラブルはつきものとはいえ、あまりのタイミングの悪さに驚きを禁じ得ません。みずほはとにかくまず、先週からの障害の原因を特定し、速やかに公表すべきです。

2021年8月23日 18:36いいね
23 』

みずほ銀行「5度目」のシステム障害

みずほ銀行「5度目」のシステム障害、原因はDBサーバーのハード故障
山端 宏実、伊神 賢人 日経クロステック/日経コンピュータ
2021.08.20
有料会員限定

https://xtech.nikkei.com/atcl/nxt/column/18/00001/05941/

 ※ 全くの素人の勝手な「感想」だが、末端の運用要員が「やっちゃいけない”操作”を、やった。」んじゃないのか…。

 ※『業務チャネル統合基盤のDBサーバーが故障した』…。

 ※RDB(リレーショナル・データベース)って、”作法に則った操作”を行わないと、DB自体が”破損”して、正常に動作しなくなる…、と聞いたことがある…。

 ※ 確か、言語自体SQLとか使うんじゃなかったか…。

 ※『4件のシステム障害を受けて、第三者委員会が2021年6月にまとめた報告書は「MINORIの構造、仕組み自体に欠陥があったのではなく、これを運用する人為的側面に障害発生の要因があった」と結論付けた。』…。

 ※「これを運用する人為的側面」って、何だよ…。

 ※ 要するに、末端の運用要員の「誤操作」ってことじゃないのか…。

 ※「担当ベンダーは富士通で、同社のLinuxサーバー上で動作する。」…。

 ※ お安く上げようと考えて、「Linuxサーバー」を使ったはいいが、末端の運用要員まで、キチンと「Linux使い」になっていたのか…。

 ※ この業界、「下請けに丸投げ」が横行しているからな…。

 ※ しかも、「下請けの下請けの下請け…。」になっているのが、現状らしい…。

 ※『今回のシステム障害に関し、富士通は「お客様のシステムのことについては回答を控える」(広報IR室)とコメントした。』とか、お高く構えていられる立場にあるのか…。

 ※ それとも、度重なる「トラブル」を受けて、富士通側では「責任を負わなくても済む」契約内容に、改訂でもしたのか…。

 ※ 末端の運用要員は、みずほ側で「確保・調達する」とかなんとか…。

 ※ まあ、そんなところクサイ話しだな…。

 ※ 『NTTデータ・NECが震撼、日本のソフト開発費が「安過ぎ」て海外下請けが脱走
https://diamond.jp/articles/-/278146?utm_source=wknd_dol&utm_medium=email&utm_campaign=20210821 』

『NTTデータ、NECと縁の深い大連で
下請け中国企業が逃げ出している

「『もう日本向けの仕事はやめたらどうですか。中国テンセント向けなど、もっと割のいい仕事が山ほどありますよ』。そう中国のパートナー企業の経営者に言われました」

 ソフトウエアのオフショア開発会社、大連プロックスソフトウェアを経営する若狭谷亘氏はこう苦笑いした。同社は国内企業からの発注を受け、中国・遼寧省大連市の拠点でソフトウエア開発を行っている。開発には自社エンジニアに加え、中国のパートナー企業とも連携している。

 パートナー企業とは平たく言えば「下請け」だ。つまり若狭谷氏は中国の下請けから、「日本の仕事は割に合わない」と言われたわけだ。若狭谷氏は近年、中国の下請け探しに苦労しているのだという。

 大連は1990年代から、日本企業を顧客とするオフショア開発を中核産業としてきた。NTTデータやNEC、日立ソフトウェアエンジニアリング(現日立ソリューションズ)といった、日本の大手企業を「お得意さま」とし、中国の大都市の中でもひときわ、日本とつながりが深い。日本語をよく理解し、日本企業の要望に応えられる開発企業やエンジニアが多いことで知られている。

 ところがその大連で近年、日本企業との取引を敬遠する動きが広がっている。これはNTTデータやNECといった企業にとって、さらには日本のIT業界全体にとって、由々しき事態である。(※ 無料は、ここまで。)』

 ※ こういう話しも、ある…。

※ Windowsベースのサーバーだと、こういうGUI画面で操作できる…。

※ しかし、Linuxベースだと、全部が全部そうはいかんだろう…。

『みずほフィナンシャルグループ(FG)は2021年8月20日、傘下のみずほ銀行とみずほ信託銀行で8月19日から20日に起こったシステム障害に関し、都内で記者会見を開いた。障害の原因は、営業店や行内端末と勘定系システムをつなぐ「業務チャネル統合基盤」のデータベース(DB)サーバーのハードウエア故障にあった。

関連記事:
みずほ銀行でシステム障害、全463店舗で取引できず

 みずほFGによると、業務チャネル統合基盤のDBサーバーが故障したのは8月19日午後8時57分。詳細な原因は調査中だが、「かなり複雑な壊れ方をした。冗長構成のバックアップ機器への切り替えは機能したが、(バックアップ機器に)故障が波及したようにみえる」(みずほFGの石井哲執行役デジタルイノベーション担当役員兼IT・システムグループ長兼事務グループ長)。

 結果的に復旧作業に時間がかかり、翌20日の営業開始に間に合わず、全463店舗で店頭における取引を受け付け・処理できなくなった。同日午前9時45分に融資や外為の一部を除いて店頭での取引の受け付けを再開し、午前11時58分にシステムが全面復旧した。

関連記事
みずほ銀行システム障害、一部取引を除いて再開

業務チャネル統合基盤は富士通が担当

 業務チャネル統合基盤は新勘定系システム「MINORI」への移行に歩調を合わせる形で導入した。担当ベンダーは富士通で、同社のLinuxサーバー上で動作する。今回のシステム障害に関し、富士通は「お客様のシステムのことについては回答を控える」(広報IR室)とコメントした。

みずほフィナンシャルグループにおけるシステム構成の全体像
(出所:みずほフィナンシャルグループの資料などを基に日経クロステック作成)
[画像のクリックで拡大表示]』

『MINORIを巡っては、2021年2月から3月にかけて、2週間のうちに4件のシステム障害が起こった。4件のシステム障害を受けて、第三者委員会が2021年6月にまとめた報告書は「MINORIの構造、仕組み自体に欠陥があったのではなく、これを運用する人為的側面に障害発生の要因があった」と結論付けた。

 みずほ銀行の藤原弘治頭取は会見で「第三者委員会でMINORIそのものに問題はなかったと評価をいただいている。現時点でハード障害の原因が特定されていないため、結論付けるのは早いかもしれないが、現時点で評価は変わっていないと思う」と語った。

記者会見で陳謝するみずほフィナンシャルグループの坂井辰史社長(中央左)やみずほ銀行の藤原弘治頭取(中央右)ら
(撮影:日経クロステック)
[画像のクリックで拡大表示]
 「再発防止に努めるなかでこのような事態が起こったことについて深くおわび申し上げる。役職員一丸となって内容や原因をしっかり精査し、再発防止策をさらに強固なものにする」。みずほFGの坂井辰史社長は会見でこう強調した。

 坂井社長は一連のシステム障害で記者会見のたびに再発防止を誓ってきた。しかし、顧客に大きな影響を及ぼすシステム障害を3月12日の4件目から半年を置かずに再び起こした。これまでの原因究明や再発防止策の結果に問題はなかったのか。2021年に入って「5度目」のシステム障害はみずほFGに疑問を投げかけている。』

金融、IT競争力が左右 みずほ障害で浮き彫り エンジニア比率は米30%、日本4%

https://www.nikkei.com/article/DGXZQODF051E60V00C21A4000000/

『みずほフィナンシャルグループの一連のシステム障害は、日本の金融機関に共通する課題を浮き彫りにした。システムの維持更新に追われ、中長期的な競争力を左右するIT運用の高度化や新たな事業モデル構築につながる投資は欧米金融機関に比べて手薄になっている。

坂井社長は5日の会見で基幹システムの運用について、最適な人員配置に課題があったことを認めた。2019年に稼働した基幹システムが軌道に乗るなかで、肝心の運用に緩みが出ていた構図が浮かぶ…

この記事は会員限定です。登録すると続きをお読みいただけます。

残り1006文字

春割ですべての記事が読み放題
今なら2カ月無料!

春割で申し込む
https://www.nikkei.com/promotion/?ak=https%3A%2F%2Fwww.nikkei.com%2Farticle%2FDGXZQOGM11C1B011032021000000&n_cid=DSPRM1AR08_promo

無料会員に登録する
https://www.nikkei.com/r123/?ak=https%3A%2F%2Fwww.nikkei.com%2Farticle%2FDGXZQOGM010QT001022021000000&n_cid=DSPRM1AR07#free

ログインする
https://www.nikkei.com/login

2019年に稼働した基幹システムが軌道に乗るなかで、肝心の運用に緩みが出ていた構図が浮かぶ。

みずほは02年と11年に大規模なシステム障害を起こした反省を踏まえ、合併前の旧行の継ぎはぎだったシステムを一本化し、全面的に刷新する方針を12年3月に決めた。14年4月の時点で3100億円だった「MINORI」(ミノリ)の開発費は4500億円まで膨らみ、数度の延期を重ねて19年7月までに全面稼働した。

5日の会見で坂井氏は「一連の障害に直接的な因果関係は判明していない」と強調したが、運用が安定するなかでシステムの制御を担う専門の人材を減らしてきたことが明らかになった。

金融庁へ提出した報告書でも「制御系の知識や経験を有する人材」や「(システムの構築を担った)ベンダーの常駐サポート」が減っていた点を認めている。坂井社長は5日の会見で「横断的なチェックがおろそかになっていた面もある」と話した。

銀行の日常業務を支えるシステムは競争力そのものを左右する。戦略的な活用は国内銀行に共通した課題でもある。

金融庁によると、米国の大手行は全従業員に占めるITエンジニアの割合が約30%なのに対し、日本では4%弱にとどまる。たとえば米JPモルガン・チェースはビッグデータの専門家を含めて5万人のエンジニアを抱え、IT投資に年100億ドル(約1兆1000億円)規模の資金を投じている。

米国の銀行ではIT予算の約6割を既存のサービスを改良する目的で投じるのに対し、国内銀行では既存の金融サービスを維持する目的の投資が7割を占めるとの調査もある。

米の金融機関は新しい金融技術を持つベンチャー企業との連携もオープンな形で進めてきた。米国では「スーパー地銀」と呼ばれる大手行に次ぐ位置の銀行も、オンラインの住宅融資やセキュリティー関連など、相次ぎフィンテック企業に投資をしている。

半面、国内銀行は再編後のシステム統合に多額の費用を投じてきた。システム統合後も膨大な維持費がかかり、戦略的な分野に資金を投じる余地は乏しいとの指摘もある。

経済産業省はITシステムに関するリポートで、日本企業がデータ活用などによる事業モデルの変革を遂げられなければ、年間最大12兆円の経済損失が生じる「2025年の崖」を警鐘した。

リポートでは、日本企業がシステムの維持更新の費用負担が高いことや、保守運用の担い手不在を懸念している。みずほのような課題は日本企業全体に横たわっており、警鐘が現実のものとなる可能性は小さくない。

【関連記事】

みずほ社長「危機対応策、不十分」 システム障害で
みずほ障害「組織スキルが低下」 金融庁に報告書
みずほ、日立に負担要求検討 外貨建て送金のトラブルで

多様な観点からニュースを考える

※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

山崎俊彦のアバター
山崎俊彦
東京大学 大学院情報理工学系研究科 准教授
コメントメニュー

貴重な体験談

「IT競争力が左右」するのは金融業界に限ったことではありません。よくある笑い話に、「うちの会社はIT障害が何も起きない。IT部門には無駄に給料を払っているだけだ。くびに/縮小/解散しよう。」と決断したところ障害が起こりまくってしまって「君等がちゃんとやってくれていたお陰だったのか・・・」ということが分かったいうものがあります。「ごん狐」のような世界。

2021年4月6日 7:56

Oneみずほの落とし穴 システム障害、真の教訓は

Oneみずほの落とし穴 システム障害、真の教訓は
本社コメンテーター 上杉素直
https://www.nikkei.com/article/DGXZQODK010VS0R00C21A4000000/

『既視感に襲われた。みずほ銀行が2月末からの2週間で4度のシステム障害を起こした。そのドタバタを見ていて思い出したのは、2002年と11年の大規模なシステム障害よりもむしろ、13年に明るみに出た反社会的勢力への融資にまつわる不祥事だ。
反社会的勢力への融資の存在は当時の経営トップまで報告されていたにもかかわらず、「報告はなかった」と間違った説明をした。世間の視線が一気に厳しくなったきっかけは、そんな…

この記事は会員限定です。登録すると続きをお読みいただけます。
残り1866文字
春割ですべての記事が読み放題
今なら2カ月無料!

春割で申し込む
https://www.nikkei.com/promotion/?ak=https%3A%2F%2Fwww.nikkei.com%2Farticle%2FDGXZQOGM11C1B011032021000000&n_cid=DSPRM1AR08_promo

無料会員に登録する
https://www.nikkei.com/r123/?ak=https%3A%2F%2Fwww.nikkei.com%2Farticle%2FDGXZQOGM010QT001022021000000&n_cid=DSPRM1AR07#free

ログインする
https://www.nikkei.com/login

世間の視線が一気に厳しくなったきっかけは、そんな事後対応の失敗であり、組織としての危機管理の甘さだった。

今回、2月28日に起きた最初のシステム障害は、一部の定期預金を紙の通帳のないデジタル口座へ移す作業が引き金になった。ふに落ちないのは翌3月1日におわびの記者会見に臨んだ幹部たちがデジタル口座という言葉にまったく触れなかった点だ。

素早く正確で丁寧な情報開示は不祥事対応のイロハのイ。翌日になっても状況をつかめずにいたなら問題だし、知っていて説明しなかったのだとしたらより深刻だ。こんな姿を目にすると、過去の失敗からいったいなにを学んだのかとがっかりする。

親会社のみずほフィナンシャルグループは第三者委員会を設けて原因を探り、金融庁は立ち入り検査で実態を洗い出すそうだ。一連のシステム障害をもたらしたプログラムの欠点や運用の課題は遠からずはっきりするだろう。それはそれで改めるしかない。

だが、今回のドタバタで浮かび上がった一番重要なポイントは、いざトラブルが生じたとき適切に対処できない組織の弱さやガバナンスの不具合にちがいない。発火点はシステム障害だったが、燃え上がらせてしまった原因は顧客をはじめとする関係者への対応のまずさ、感度の鈍さだ。

では、組織の風通しを悪くする問題の根はどこにあるのか。要因はさまざまに絡み合うが、新しいみずほを形づくる土台として16年にスタートしたカンパニー制という陣立てに目を向けたい。顧客のニーズをつかむ商品やサービスをグループ一体となって提供する「One(ワン)みずほ」戦略の要となる仕掛けだ。

カンパニー制のそもそもの理念に反対する人はいないだろう。5つのカンパニーは個人や企業など顧客の属性ごとに分かれ、銀行、証券会社、信託銀行の各組織に横串を通す形で存在する。それぞれのカンパニー長は収益責任を負い、あたかも会社のトップような指揮命令の権限をもつ。

もっとも、新しい試みが良いことばかりもたらす保証はなく、落とし穴がどこかに潜んでいると考えたほうがいい。カンパニー制を強力に進めるほど、副作用だって大きくなる。負の側面が今回の不祥事で垣間見えたのではないかという問いかけだ。

よくよく注意しないとカンパニー制が生み出してしまう負の側面を2つ挙げたい。いずれも「カンケツ」が失われる現象だ。

まずは簡潔。銀行や証券という既存の組織の縦ラインに、カンパニーという横の軸が重なり合う。どれだけ縦と横の役割分担をうたっても、業務をとりまくややこしさや複雑さは明らかだ。

そして完結。かつてに比べて銀行は独立した組織として尊重されなくなった。頭取は銀行にまつわるすべての事柄を決める最終権限があるかといえば、そうでない。その裏返しとして、責任の所在もあいまいになりやすい。

半期に一度の部店長会議は以前は頭取が自分の思いを伝える舞台だった。しかし最近は持ち株会社のカンパニー長たちへと主役の座が移ったらしい。頭取人事よりカンパニー長人事のほうがグループにとって大事になった、と受け止める幹部は少なくない。

やや乱暴なたとえを示そう。安倍前政権は官邸主導を強めるため、省庁の幹部人事を掌握し、波長の合う役人を首相の周りに登用した。結果として政策の実行部隊であり専門家集団である役所の一部にしらけたムードが広がり、士気は下がったといわれる。

同じ構図で持ち株会社を官邸に、銀行を省庁に見立てたらどうだろう。一歩間違えば銀行の現場に近年の霞が関のような空気が忍びこまないか。最近、みずほの人たちと話していると、そんな心配が頭をよぎることがある。

もちろん、だからといってカンパニー制や持ち株会社主導のグループ運営をやめればよいという話にはならない。グローバルに戦っていくには銀行と証券の連動は必須の条件だ。要は、いかにバランスをとりながら、効果的に組織を回していくかという鉄則におのずと行き着くだろう。

どうすればよいか、答えはとっくにわかっている。「都合の悪い話であっても持ち株と銀行、証券の関係者が互いに腹落ちするまで意見を言い合おう」。カンパニー制を始めたころ、当時の経営陣の1人はそう話して回った。

縦に横にと組織を張り巡らせるだけでなく、コミュニケーションも縦横斜めに繰り返す。上意下達に偏らず、現場の息づかいをきちんと共有できなければ組織を的確に動かせるわけがない。みずほに限らず、業容を広げようと陣立てを見直すすべての銀行、あらゆる企業に当てはまる。

今度は見て見ぬふりをせず、組織のカルチャーにまで踏み込んでもらいたい。不祥事から学べるかどうかの分岐点にいる。

【関連記事】
みずほ、日立に負担要求検討 外貨建て送金のトラブルで

上杉 素直

金融ビジネスや金融政策、税制・財政をはじめとする経済政策、社会保障の現場を取材してきた。2010年からのロンドン駐在では欧州債務危機に揺れる政治や行政、人々の暮らしをのぞいた。編集委員を経て18年から現職。

Oneみずほの落とし穴 システム障害、真の教訓は(11:30)
コロナ検査、岩盤を壊せ 経済のアクセル踏むために(2月27日)