Offcanvas

데이터센터 / 보안 / 통신|네트워크

기고 | 델타·사우스웨스트 항공의 IT 중단 사고가 전하는 교훈

2016.09.19 Jonathan Hassell  |  Computerworld

델타 항공과 사우스웨스트 항공이 지난 여름 기록한 IT 시스템 정지 사례는 모든 IT 전문가들이 참고할 만한 교훈을 시사한다.


Image Credit : Getty Images Bank

지난 몇 달은 항공 IT 시스템 고장 측면에서 이례적인 시기였다. 단순한 부품 고장으로 인한 심각한 고장 정지 사건이 2주 만에 2건이나 발생해 방대한 승객 불편을 야기했으며 이들 두 항공사는 수 백만 달러의 손실을 입었다.

이런 사건은 당사자에게는 무척 고통스러운 일이지만 다른 기업들에게는 절차를 학습하고 개선할 수 있는 엄청난 타산지석의 기회다.

먼저 약간의 사건 개요를 설명하도록 하겠다. 지난 7월 21일 라우터(Router) 문제로 인해 사우스웨스트항공(Southwest Airlines)의 운영에 차질이 발생했다. 고장 정지가 발생했는데, 며칠 동안 영향을 끼쳤다. 참고로 사우스웨스트는 마진의 측면에서 미국 내 최대 규모의 국내 승객 운송사다. 달라스 모닝 뉴스는 당시 이 소식을 상세히 보도했다.

보도 기사에는 "21일 이른 오후 네트워크 라우터에 문제가 발생하고 백업 시스템이 제대로 개입하지 못하면서 고장 정지가 발생했다. 고장 정지는 약 12시간 후에 해결되었지만 혼란의 규모로 인해 사우스웨스트는 이후 며칠 동안 항공기, 승무원, 승객을 관리하느라 엄청난 혼란을 겪어야 했다"라고 기술하고 있다. 이 항공사는 결국 약 2,300편의 항공편(전체의 약 11%)가 취소되는 사태를 맞이해야 했다.

(‘백업 시스템의 개입 실패’는 아마존 웹 서비스(Amazon Web Services)의 고객들에게 익숙한 용어다. 이번 사건은 2011년 아마존(Amazon)의 클라우드 관리 운영의 상당 부분을 앗아갔던 백업 시스템 실패와 유사하다. 당시 클라우드 고객들은 이로 인해 아마존의 가용성 구역 및 내고장성 기능을 사용하기 시작했다.)

그리고 8월 8일에는 델타항공(Delta Air Lines)에서 사고가 발생했다. IT 시스템 고장 정지로 인해 여름 휴가 피크 기간에 수 백 편의 항공기가 취소되거나 지연됐다. 이 모든 것은 그저 한 전기 부품의 고장 때문에 발생했다.

월스트리트저널은 이렇게 보도했다. "동부 시간으로 오전 2:30에 애틀랜타(Atlanta) 본사에서 발생한 전기 문제로 인해 델타항공은 오전 5시부터 출발하는 수 백 편의 항공편을 지연시킬 수 밖에 없었다고 밝혔다. 회사의 고위 임원 에드 배스티앙은 영상을 통해 고객들에 사과했다. 기술 문제로 인해 델타는 수 백만 달러의 수익 손실을 입었을 뿐 아니라 지난 분기 어렵게 얻은 미국에서 가장 신뢰할 수 있는 국제 항공사라는 명성에 피해를 입었다."

델타 고장 정지 사태에서 문제가 된 기술은 배전 상자(시설의 전원을 담당하는 거대한 퓨즈 박스)였다. 이 기기에 전력을 공급하는 조지아 파워 측은 고장 기기 소재지가 델타의 본사였다고 밝혔다.

이 모든 것들이 의미하는 것?
델타와 사우스웨스트의 IT 고장 정지 사고는 잘못된 시점에 잘못된 곳에서 발생한 IT 고장이 단 수 시간 만에 수 백만 달러의 비용을 발생시킬 수 있는지 보여준다. 또 지난 수 년 동안 이뤄진 재난 복구에 대한 여러 논의에도 불구하고 곳곳에 허점이 있을 수 있다는 사실을 시사한다.

고가용성 옵션은 수십 년 전부터 있었으며 꾸준히 발전해왔다. 비상용 하드웨어가 강력해졌으며 수 백만 분의 1초 만에 여러 지역에서 운영되는 윈도우 및 리눅스(Linux)용 시스템 대체 작동 옵션, 필요에 따라 다른 데이터 센터에서 백업 작업을 실행하는 서비스형 인프라 등이 있다.

이런 옵션은 비용 절감 효과도 가져다줬다. 과거에는 대체 시스템을 구축하기 위해 수 백만 달러의 예산이 필요했지만 이제는 신용카드로 수 시간 분량의 서비스를 손쉽게 구매할 수 있다. 물론 수 십억 달러 규모의 항공사에서는 좀더 복잡할 것이다.

필자가 생각하기에 많은 사람들이 사업 연속성과 IT 연속성를 계획할 때 놓치는 중요한 원칙이 있다. 사업의 운영을 위해 IT에 의존하고 있다면 높은(이상적으로는 연속적인) 가용성을 확보해야한다는 것이다. 그러나 많은 사람들이 재난 복구와 고가용성이 같은 것이며 상호적인 목표라고 생각한다. 이런 생각은 잘못된 것이다.

재난 복구는 기술적 문제나 대자연이 데이터 센터를 허리케인으로 공격하는 등 기술 운영에 어떤 식으로든 문제가 발생했을 때 실시하는 것이다. 이는 조각들을 모아 정상 운영으로 복귀하기 위해 필요한 프로세스와 절차(그리고 필요 인프라)를 설명한다. 하지만 재난 복구 계획을 실행하는 시간 동안 IT 자산은 온라인 상태가 아니기 때문에 기업은 고객들에게 서비스를 제공하지 못할 수 있다.

반면, 고가용성은 기본적으로 항상 온라인 상태로 "시스템 대체 작동"에 대비하는 보상 하드웨어 및 소프트웨어를 추가하여 일부 다운타임에 대비하는 것이다. 시스템 부하 전체를 처리할 수는 없더라도 최소한 활용이 가능하기 때문에 기업에 필수적인 활동이 실제로 지속될 수 있도록 한다.

고가용성을 추구할 때의 장점
고가용성이 중요한 목표인 이유는 무엇일까? 기술을 완전히 오프라인 상태로 두는 것보다 제한적일지라도 운영하는 것이 비즈니스에 덜 치명적이기 때문이다. 거의 모든 경우에 그렇다. 고장 정지 중 정상적인 방식으로 모든 고객에 서비스를 제공하지 못할 수도 있지만 최소한 주요 기능을 수행할 수 있는 역량을 확보하면 다른 쪽에서 수동 또는 대체 프로세스로 복귀해 비즈니스 전체를 운영할 수 있다.

델타항공의 경우 이번 고장 정지로 인해 비행 계획서를 FAA로 제출하지 못했고 이로 인해 다른 모든 프로세스를 자동 또는 수동으로 운영했다 할지라도 항공기가 출발할 수 없었다. 최소한 비행 계획 제출 소프트웨어를 다른 곳에서 사용할 수 있었다면 어땠을까? 승객이 많은 주요 항공편이나 적절한 장비를 적절한 위치로 이동할 항공편이 출발할 수 있었을 것이고 고장 정지로 불리한 영향을 받은 고객들이 더 적었을 것이다.

핵심: 프로세스에서 반드시 이루어지지 않으면 전체가 무너지는 "게이팅(Gating)" 문제가 무엇인지 파악하라. 그리고 이런 것들을 위한 2차 및 3차 백업뿐만이 아니라 1차 고장 시 이런 것들을 온라인으로 유지할 수 있는 계획을 확보하라.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.