山東能源｜19.95万人グループの影像経費精算システム高可用性改造

企業概要

山東能源集団は山東省エネルギー業界の国有資本投資会社であり、わが国エネルギー業界の重要な骨干企業として、エネルギー安全の保障、エネルギー配置とエネルギー構造の最適化の主体的責任を担っています。従業員19.95万人、権属企業608社を擁し、うち上場企業8社、新三板上場企業5社が国内22省（区）および海外17か国（地域）に分布しています。2024年の営業収入は8560億元を達成し、中国石炭50強第1位、中国企業500強第23位、世界500強第75位に位置しています。

業務の課題

• システムの高可用性が欠如し、アプリケーション、データベース、ストレージが単一機房に集中配置されクラスタ化冗長化がなされていないため、単一ポイントのサービス障害が即座に業務災害を引き起こします。例えば単機データベースのダウンで影像経費精算システム全体がアクセス不能になります
• システムの災害対策能力はゼロ、地域的障害が直接業務麻痺を引き起こす
• データベースアクセスが階層化されておらず、高頻度アクセスの「直近3か月の経費精算影像」と低頻度の「5年前のデータ」が閲覧リソースを奪い合い、閲覧遅延が1秒から10秒へ急増
• フォールバックとフォールトトレランスが空白で、小さな障害が雪崩に発展しやすい。例えばあるネットワーク変動でアップロード失敗率が40%に達し、従業員が繰り返しリトライしたことでサーバー側のリクエスト量が3倍に急増し、アプリケーションをさらに圧迫した

ソリューション

• 画像経費精算システムに対して高可用性と災害対策の改修を実施：アプリケーションとデータベースをクラスタ化して冗長配置し、単一障害点を解消
• クロスデータセンターの災害対策能力を構築し、地域的な障害でも全体が利用不可にならないようにする
• アクセス頻度に応じてイメージデータを階層保存し、高頻度の直近イメージと低頻度の履歴データを分離し、閲覧リソースの競合を回避
• 劣化とフォールトトレランス機構を補完し、ネットワーク変動などの異常シーンでリトライストームを制限し、小さな障害が雪崩に発展するのを防止

実現効果

• イメージ精算システムは単一機房・単一拠点配置からクラスタ化冗長配置へ移行し、単一ノードの故障で全体が使用不可になることはなくなった
• 影像データをアクセス頻度別に階層化したことで、直近の経費精算影像の参照遅延は正常水準に回復
• フォールバックとフォールトトレランス機構の導入後、ネットワーク変動などの異常がリトライストームによってサーバー側の過負荷に拡大することはなくなった