‘데이터 사일로 허물어보니...’ 기업 3곳의 경험담

전사적으로 데이터를 공유하는 능력은 모든 혁신 여정에서 중요한 첫 단계다. IT 리더가 데이터(및 정치적) 벽을 허물고 데이터 전략을 통합하는 방법을 알아본다.
 

수년 동안 조직 내에 존재하는 데이터 사일로를 허물어야 한다는 목소리가 높았다. 디지털 혁신 시대에 다양한 분야 간의 정보 공유의 중요성을 고려할 때, 이 개념은 그 어느 때보다 중요하다고 할 수 있다.

실제로 기업이 디지털 전환을 수행할 때 일반적으로 데이터 전환이 가장 먼저 이뤄지곤 한다. 데이터 전환은 기업 내 여러 구석에 있는 데이터 및 정치적 사일로를 무너뜨리는 것에서 시작되는 경우가 많다. 기업 내 다양한 곳에서 발생하는 데이터를 정규화하고 집계하여 궁극적으로 조직 곳곳의 분석가가 사용할 수 있도록 하는 것이다.

이러한 데이터의 대부분은 이전에 다른 시스템이나 다른 영역에 있던 데이터와 결합하면 시너지 효과를 낼 수 있다.

데이터 액세스의 장벽을 허무는 것이 매력적인 이유는 쉽게 알 수 있다. 하지만 데이터 사일로를 허무는 데는 정확히 무엇이 필요할까? 어떤 도전과제와 잠재적인 보상이 있을까? 다음은 그 해답을 찾은 조직의 몇 가지 예이다. 

중앙 집중식 보고로 데이터 가치 향상
소아과 의료 시스템 기업 피닉스 필드런스는 지난 10년 동안 120개 이상의 개별 데이터 시스템을 포함하는 데이터 웨어하우스를 운영하여 서로 다른 시스템의 데이터를 연결해왔다.

총괄 부사장 겸 최고 혁신 책임자인 데이비드 히긴슨은 “각종 의료 시스템 내에서 활용되는 모든 전자 시스템은 데이터 웨어하우스와 연결돼 각종 비즈니스 문제에 대한 고유한 인사이트를 제공했었다”라고 말했다.

그러나 기존의 보고 도구로 인해 데이터에 대한 광범위한 액세스가 제한됐다. 몇 년 전, 조직은 개별화되고 사일로화 된 시스템에서 각각의 보고 도구를 사용하지 않기로 결정했다.

히긴슨은 “이제 중앙 데이터 웨어하우스에서 중앙 집중식 보고서 작성 팀을 통해 보고서를 생산한다. 초기 이 새로운 보고 방식을 도입하는 것은 정치적 도전이었다. 비즈니스 운영 방식에 변화를 추진해야 했기 때문이다”라고 말했다.

중앙 집중식 접근 방식을 받아들이게 된 전환점은 동료들이 다른 시스템의 데이터를 결합하면 데이터의 유용성과 정확성이 크게 향상되고 더 나은 결과를 얻을 수 있다는 사실을 깨닫기 시작했을 때였다. 그 후 사일로화 된 접근 방식에서 벗어나는 전환이 가속화되었다고 히긴슨은 전했다.

서로 다른 시스템을 통합한 후 새로운 가능성이 열렸다. 일례로 출입 데이터를 평가하여 직원이 현장에 있는지 여부와 코로나19 설문조사를 완료해야 하는지 여부를 판단할 수 있게 됐다. 또 환자의 전자 의료 기록에 주문이 접수되었으나 해당 문서가 의료 정보 관리 시스템으로 스캔 되지 않은 경우 알림을 받을 수도 있었다. 

히긴슨은 “개별 부서에 분석가를 교육하고 배치하는 대신 중앙 집중식 데이터 및 보고 모델을 선택함으로써 긴급한 요구 사항을 충족하는 민첩성과 대응력을 유지할 수 있었다. 아울러 저가치 데이터 프로젝트에 귀중한 리소스를 소비하지 않아도 되었다”라고 말했다.

데이터에 대한 액세스를 민주화하기 위해 피닉스 칠드런스가 취한 새 접근 방식은 여러 이점을 가져왔다. 히긴슨은 “경쟁의 장을 공평하게 하고 모든 부서가 데이터 리소스 및 보고에 동등하게 액세스할 수 있도록 함으로써 특정 부서에 데이터 분석가와 데이터 인사이트가 과도하게 집중되는 문제를 해소할 수 있었다”라고 설명했다.

덕분에 분석가를 사일로화 된 부서에 배치하여 활용도가 낮고 기본적인 업무만 맡기는 방식에서 벗어날 수 있었다는 설명이다.

히긴슨은 이러한 접근 방식을 통해 “사람들이 새로운 인사이트를 소중히 여기고 이를 신속하게 필요로 한다는 사실을 금방 알 수 있었고, 이는 조직 전체에 적용되고 있다”라고 말했다.

레이크하우스 아키텍처의 데이터 기반 의사 결정 지원
렉스마크의 글로벌 CTO 겸 CIO이자 커넥티드 기술 담당 수석 부사장인 비샬 굽타는 “인쇄 및 디지털 이미징 회사인 렉스마크는 데이터가 새로운 ‘황금’이라는 사실을 깨닫고 지난 5~7년 동안 데이터 중심 회사로 거듭나기 위한 여정을 걸어왔다”라고 말했다.

굽타에 따르면 이 작업은 쉽지 않았다. 모든 관련 정형, 비정형 및 스트리밍 데이터를 체계적으로 수집하고, 저장 및 변환하고, 필요에 따라 집계 및 레이블을 지정하고, 최종적으로 최적화할 수 있는 전략, 인재, 조정 및 기술 아키텍처가 필요하기 때문이다.

조직 내 데이터 사일로를 제거하기 위한 노력의 일환으로 렉스마크는 ‘데이터 운영 팀’을 설치했다. 이 팀은 비즈니스 영역 전반에서 데이터를 조정하고, 데이터 거버넌스 기능을 구축하여 데이터의 신뢰, 개인 정보 보호 및 보안을 지원하고, 렉스마크 전체에 걸쳐 총체적인 데이터 아키텍처를 구축하는 데 필요한 인재와 기술 확보에 기여했다.

현재 렉스마크는 마이크로소프트 애저 환경 위에 구축한 데이터 레이크하우스 아키텍처를 사용한다. 굽타는 “이를 통해 모든 부서에서 데이터를 활용하여 어떤 제품을 제조할지, 가격을 어떻게 책정할지, 재고를 얼마나 보유할지, 배포한 각 디바이스의 고장 시기를 예측하는 등의 의사 결정을 내릴 수 있게 되었다”라고 말했다.

이 업체는 현재 20개 이상의 머신러닝 모델을 운영 중이며, 수천 명의 직원이 수백 개의 대시보드를 활용하여 의사 결정에 도움을 받고 있다.

굽타는 “데이터에 기반한 의사 결정이 최상의 결과를 낳기 마련이다. 하지만 정보에 입각한 의사 결정을 내리려면 사용 가능한 모든 데이터가 필요하다. 개별 데이터 사일로에 있는 작업자는 더 나은 방향을 알려줄 수 있는 잠재적 데이터로부터 차단된다. 또한 리소스를 낭비하는 중복된 노력으로 이어질 수도 있고, 편견의 문제도 있다. 좋은 결정처럼 보일 수 있지만, 다른 방향으로 이끌 수 있는 모든 세부 정보에 액세스할 수 없기 때문이다”라고 말했다.

렉스마크는 사일로를 허물어 정보를 민주화함으로써 조직 내에 ‘혁신의 문화’를 조성할 수 있다는 사실을 발견했다고 굽타는 덧붙였다.

굽타는 “모든 사람이 동일한 데이터를 기반으로 작업할 때 서로 다른 그룹 간의 조정과 협업이 더 쉬웠고, 데이터 공유 덕분에 복잡한 과제에 대한 새롭고 기발한 아이디어가 수면 위로 떠올랐다. 또한 직원들이 성공할 수 있는 환경이 조성되었다고 느끼면서 더 행복해졌다. 모든 직원이 업무 수행에 필요한 정보에 동등하게 액세스할 수 있었다”라고 전했다.

공통 데이터 플랫폼으로 더 선명한 애널리틱스 제공
기술 연구 및 자문 회사인 ISG는 데이터와 정치적 사일로를 허물어서 데이터의 민주화와 표준화를 추진하기 위해 공통 데이터 플랫폼을 구축하고 제공하는 이니셔티브를 시작했다.

ISG의 최고 데이터 및 애널리틱스 책임자인 캐시 루디에 따르면, 이 노력은 사업부 리더에게 이것에 관해 브리핑하고 비즈니스 전반의 데이터 소유자에게 접근하면서 지원을 요청하면서 시작됐다.

롤아웃을 준비하면서 루디는 “조직 전체에 걸쳐 데이터를 인벤토리화하고 유형, 소유자, 플랫폼, 데이터 사용량, 데이터 형식, 용어 등을 기준으로 분류했다. 이러한 지식을 바탕으로 데이터 사전과 공통 분류법을 마련했다”라고 말했다.

이러한 정보를 미리 확보하는 데에는 데이터 소유자의 신뢰와 협력을 구축하는 데 매우 중요했다. 데이터 소유자의 참여가 프로그램 성공의 핵심이었다는 설명이다.

루디는 “데이터와 데이터 구조에 대한 이해를 바탕으로 회사 전체에서 데이터에 대한 액세스, 사용, 수익 창출을 개선하는 데 필요한 공통 분류 체계와 데이터 구조를 만드는 데 필요한 노력에 대해 실용적인 대화를 나눌 수 있었다”라고 말했다.

사일로를 허물고 데이터를 더 광범위하게 사용할 수 있게 됨으로써 여러 가지 이점을 얻을 수 있었다. 루디는 “데이터에 대한 액세스를 통해 사용자는 더 나은 의사 결정을 내릴 수 있고, 애널리틱스 제공의 효율성을 높이고, 더 많은 지식을 바탕으로 고객에게 더 빠르게 서비스를 제공할 수 있으며, 데이터를 보다 총체적으로 보기 전에는 분명하지 않았을 수 있는 새로운 제품 및 서비스의 가능성이 보이기 시작한다”라고 말했다.

이 밖에 데이터 품질 향상, 중앙 집중식 데이터 보존 정책 개발 기능, 데이터 자산 전반의 보안 향상 등의 이점이 추가로 있다고 루디는 덧붙였다.

성공을 위한 팁
데이터 사일로를 성공적으로 해체한 사람들은 이러한 이니셔티브를 수행하기 위한 몇 가지 모범 준칙를 제안한다.

경영진의 지원과 비전 확보. 피닉스 칠드런스의 히긴슨은 “사일로를 허물려면 리소스가 내장된 부서의 저항을 극복해야 하는 경우가 많다. 이 문제를 해결하려면 경영진의 강력한 지원과 비전을 확보하는 것이 중요하다. 우리의 경우 이러한 지원은 사장 겸 CEO를 비롯한 최고 경영진으로부터 시작되었다”라고 말했다.

경영진의 지원은 정치적 저항을 극복하는 데 도움이 될 수 있으며 데이터 통합 노력에 대한 명확한 방향과 의지를 제공할 수 있다. 

루디는 “비즈니스 리더의 지원과 동의를 얻어야 하며, 그들은 프로그램 지원의 가치 또는 [투자 수익률]을 이해해야 한다. 그렇지 않으면 당신의 요청을 뒷전으로 미루는 팀과 데이터 소유자로 인해 옆길로 새게 될 것이다”라고 말했다.

교차 기능 팀의 구성. ISG의 루디는 경영진의 동의를 얻는 것과 함께, IT 리더는 여러 사업부의 개인들로 구성된 팀을 구성해야 한다고 말한다. 이는 데이터 소유자 간에 신뢰, 투명성, 책임감을 구축하는 좋은 방법이다.

루디는 “팀을 한데 모아 데이터 관리와 문제 극복을 위한 전술을 공유할 수 있다면 우리 모두가 함께한다는 분위기를 조성하는 데 도움이 된다”라고 조언했다.

차별화 요소의 식별과 데이터 검색의 통합. 또 다른 핵심은 데이터 영역 간의 벽을 허물 때 발생하는 새로운 가능성에 집중하는 것이다. 히긴슨은 “로컬 기능을 복제하는 대신, 여러 시스템의 데이터를 결합하여 문제나 기회를 더 잘 설명하는 등 중앙 집중식 데이터 접근 방식이 제공할 수 있는 차별화 요소를 찾아야 한다”라고 말했다.

하긴슨은 기업도 데이터 검색을 통합해야 한다고 강조했다. 그는 “완벽한 정규화 된 데이터 웨어하우스를 구축하는 데 집중하기보다는 데이터를 원래 형식으로 수집하고 실제 사용 사례가 나타날 때 데이터 검색을 수행해야 한다. 아무도 묻지 않는 시스템에 대한 데이터 모델을 이해하고 문서화하는 것은 의미가 없다. 원하는 결과가 데이터 검색을 주도하도록 하고, 가치를 창출하기 전에 모든 데이터를 이해하거나 재구성하는 데 집중하지 마라”라고 말했다.

디지털 스레드 생성. 렉스마크의 굽타는 기업이 디지털 스레드를 만들어 제품 수명 주기 동안의 정보 흐름을 더 잘 이해해야 한다고 권고했다. 그는 “이것이 데이터 사일로를 무너뜨리는 동력이 될 것이다. 제품 라인에 대한 디지털 스레드를 만든다면 구상, 설계, 제조, 출하, 구현, 사용, 유지보수, 폐기 등 제품 제작에 들어가는 모든 단계의 데이터를 통합하는 하나의 엔드투엔드 채널이 될 것이다”라고 말했다.

디지털 스레드를 통해 조직은 특정 데이터 집합의 우선순위를 정하고, 데이터가 깨끗하고 정확하며 안전하게 유지되도록 자동화된 프로세스를 만들고, 디지털 스레드에 있는 모든 사람이 데이터를 자신과 관련된 인사이트로 전환할 수 있는 도구를 추가할 수 있다고 굽타는 설명했다. ciokr@idg.co.kr