산둥 에너지｜19.95만 명 그룹의 이미지 경비정산 시스템 고가용성 개조

기업 개요

산둥 에너지 그룹은 산둥성 에너지 산업의 국유자본 투자회사이자 중국 에너지 산업의 중요한 핵심 기업으로, 에너지 안보 보장과 에너지 배치 및 에너지 구조 최적화의 주체적 책임을 지고 있습니다. 종사자 19.95만 명, 소속 기업 608개(그중 상장사 8개, 신삼판 상장사 5개)를 보유하고 있으며, 국내 22개 성(구) 및 해외 17개 국가(지역)에 분포하고 있습니다. 2024년 매출 8,560억 위안을 달성하여 중국 석탄 50강 1위, 중국기업 500강 23위, 세계 500대 기업 75위에 올랐습니다.

비즈니스 페인 포인트

• 시스템 고가용성 결여, 애플리케이션·데이터베이스·스토리지가 단일 전산실에 집중 배치되고 클러스터 이중화가 이루어지지 않아 단일 서비스 장애만으로도 업무 재앙이 발생하며, 예를 들어 단일 데이터베이스 다운 시 전체 이미지 경비정산 시스템에 접속할 수 없게 됩니다
• 시스템 재해 복구 능력이 전무하여 지역적 장애가 곧바로 업무 마비를 초래합니다
• 데이터베이스 접근이 계층화되지 않아 고빈도 접근의 '최근 3개월 경비 영상'과 저빈도의 '5년 전 데이터'가 열람 자원을 경쟁하여 열람 지연이 1초에서 10초로 급증합니다
• 다운그레이드와 내결함성 부재로 작은 장애가 쉽게 눈사태로 번집니다. 예를 들어 어느 네트워크 변동으로 업로드 실패율이 40%에 달하고 직원들이 반복 재시도하여 서버 요청량이 3배로 폭증해 애플리케이션이 더욱 마비되었습니다

솔루션

• 이미지 비용 정산 시스템에 고가용성 및 재해 복구 개조를 시행합니다. 애플리케이션과 데이터베이스를 클러스터링 이중화 배포하여 단일 장애점을 제거합니다.
• 크로스 데이터센터 재해 복구 역량을 구축하여 지역적 장애가 더 이상 전체 서비스 불가로 이어지지 않도록 합니다.
• 접근 빈도에 따라 이미지 데이터를 계층 저장하여 고빈도 최근 이미지와 저빈도 이력 데이터를 분리하고, 조회 자원 경쟁을 방지합니다
• 다운그레이드와 내결함성 메커니즘을 보완하여 네트워크 변동 등 이상 시나리오에서 재시도 폭풍을 제한하고, 작은 장애가 눈사태로 번지는 것을 방지

실현 효과

• 이미지 비용 청구 시스템이 단일 전산실 단일 지점 배포에서 클러스터 이중화 배포로 전환되어 단일 노드 장애가 더 이상 전체 불가용을 초래하지 않습니다
• 영상 데이터를 접근 빈도에 따라 계층화한 후 최근 경비정산 영상의 조회 지연이 정상 수준으로 회복
• 다운그레이드와 내결함성 메커니즘 도입 후 네트워크 변동 등 이상 상황이 재시도 폭주로 확대되어 서버 과부하가 되지 않습니다