Offcanvas

BI / 디지털 트랜스포메이션 / 빅데이터 | 애널리틱스

데이터 기반 기업이 되기 위해 넘어야 하는 6가지 허들

2023.05.19 Maria Korolov  |  CIO
데이터 기반 접근 방식을 채택하는 기업은 그렇지 않은 기업보다 훨씬 더 나은 성과를 거둔다. 하지만 데이터 기반 기업을 찾기는 쉽지 않다. 무엇이 걸림돌로 작용할까?
 
ⓒ Getty Images Bank 

많은 기업이 데이터 기반 기업이 되고 싶어한다. IDC 보고서에 따르면, 데이터에 정통한 기업은 매출이 3배 증가하고, 신제품 및 서비스 출시 기간이 거의 3배 단축되며, 고객 만족도, 수익 및 운영 효율성이 향상될 가능성이 2배 이상 증가한다. 

그러나 지난 1월 뉴밴티지 파트너스(NewVantage Partners)에서 데이터 및 정보 담당 임원을 대상으로 실시한 설문조사에 따르면, 데이터 기반이라고 답한 기업은 응답자 중 25% 수준이었으며, 조직에 데이터 문화가 있다고 답한 기업은 21%에 불과했다.

이러한 단절을 설명하는 데 도움이 되는 몇 가지 주요 요인이 있지만, 응답자의 80%가 데이터 투자에서 가치를 얻지 못하는 가장 큰 요인으로 문화적 문제를 꼽았다. 기술 한계를 지적하는 응답자는 20% 밖에 없었다. 그외에도 데이터 기반 기업으로 가기 위해 극복해야 하는 장애물은 여러가지가 있다. 대표적으로 다음과 같다. 

잘못된 데이터를 구분하는 것
분석 전략이 아무리 좋아도 기반이 되는 데이터가 안 좋으면 원하는 목적지로 갈 수 있다. 그러나 데이터 품질 문제를 해결하려면 데이터의 의미와 수집 방식에 대한 심도 있는 이해가 필요하다. 비영리단체 데이터닷오알지(Data.org)의 최고 데이터 및 기술 책임자 유이 스튜어트는 중복 데이터를 해결하는 것이 매우 중요하지만, 데이터가 자체가 잘못되었다면 문제는 더욱 복잡해진다고 지적한다. 

스튜어트는 “데이터의 정확성을 파악하는 과제는 훨씬 더 까다롭고 시간이 더 걸린다. 이런 정확성을 파악할 수 있는 전문성이 있어어야 한다”라고 덧붙였다.

단순한 기술 역량으로는 부족하다. 다국적 유제품 회사 프리즐란트캄피나(FrieslandCampina)는 2017년 데이터 주도형 회사가 되기 위한 전략적 계획에 착수하고 있었다. 물론 쉽지 않은 과제였다. 프리즐란트캄피나는 31개국에 2만 1,000명이 넘는 직원과 100개국 이상에 고객이 있기 때문이다. 이런 구조 속에 데이터 품질은 커다란 장애물로 작용했다. 서로 다른 데이터 서식을 쓰고 있었던 것이다. 

프리즐란트캄피나에서 데이터 및 승인 담당 선임 글로벌 책임자 레노 마리스에 따르면, 당시 재고 기준은 화물 운반 상자를 기준으로 저장되고, 주문 정보의 기준은 품목 번호였다. 담당자는 서로 다른 기준으로 작성된 데이터를 수동으로 맞는지 확인하며 결합해야 핬다.  

또 다른 예로 상품 코드의 경우, 각 공장에서는 제품에 가장 적합한 상품 코드를 입력하는데 공장마다 수출입세 환급에 사용되었던 서로 다른 코드를 사용하고 있었다. 마리스는 “그러나 세금 신고 과정에서는 일관성이 필요했다”고 말했다.

프리즐란트캄피나는 이런 데이터 문제들을 해결하기 위해 데이터 조직을 개선해야 했다. 프로젝트가 시작할 당시, 팀은 데이터 입력의 기술적인 세부사항에 주로 집중했다. 그러나 그 상황은 곧 바뀌었다.

마리스는 “우리는 팀이 프로세스 전문가, 데이터 품질 전문가, 분야 전문가가 되도록 재교육을 진행했다. 이를 통해 우리는 늘 데이터를 대비하고 활용할 수 있고 사업부에게 필요한 자문을 제공할 수 있었다”라고 말했다.

데이터 품질 개선을 위해 사용한 플랫폼 시니티(Syniti)도 상황에 맞게 개선해야 했다. 마리스는 “시니티는 좋은 기술이지만 사용하려면 기술적 사전 지식을 갖고 있어야 한다. 따라서 비즈니스 사용자가 시니티를 쓰기에는 약간의 어려움이 있었다. 그래서 시니티 측에 비전문가도 이용할 수 있는 사용자 인터페이스를 제공해달라고 요구했다”라고 말했다.

그 결과 2018년 프리즐란트캄피나는 업체, 재료, 고객, 재무라는 1단계 마스터 데이터 객체를 구성했고, 그 다음 해에는 계약, 재료표(BOM), 리베이트, 가격을 포함한 2단계 데이터 객체로 구조를 확장했다. 2022년 말이 되었을 때 프리즐란트캄피나는 논리적 비즈니스 흐름 관리를 마쳤고 프로젝트를 완전히 배치했다. 그 결과 데이터 품질은 95% 향상되었고 생산성은 108% 향상되었다.

마리스는 “기초 데이터 플랫폼을 구현하기 전에는 매년 1만시간 이상을 마스터 데이터를 재작업하는데 사용했지만 현재 관련 작업에 필요한 시간은 거의 0으로 줄었다”고 말했다.

데이터 품질은 아플락(Aflac)에서도 문제였다고 아플락 CIO 쉘리아 앤더슨은 말했다. 아플락이 데이터 주도형 회사가 되기 위한 여정을 시작했을 때, 사업 분야마다 서로 다른 운영 방식이 존재했다.

앤더슨은 “데이터 유입 시스템이 여러 개 있어서 데이터 품질에 일관성이 없었다”라고 회상했다. 그 결과 데이터에서 유용한 인사이트를 얻기가 어려웠다. 아플락은 이 문제를 해결하기 위해 디지털 우선, 고객 중심의 접근 방식으로 옮겨갔다. 이를 위해 다양한 생태계에 걸쳐 데이터를 통합한 결과, 고객 경험이 개선되었고 회사는 비즈니스 프로세스에서 자동화를 늘리고 오류율을 줄일 수 있었다.

앤더슨은 “이를 통해 고객 서비스 대리인들이 여유 시간을 갖고 좀 더 개인적인 손길이 필요한 복잡한 청구 건에 집중할 수 있어 매우 유용했다”라고 설명했다.

데이터 통합을 기술 문제로 보는 것
랜디 사이크스는 과거 직장에서는 데이터 웨어하우스 구축에 8년을 보냈으나 성공하지 못했다. 랜디 사이크스는 “실패 이유는 회사가 보조를 맞추고 있는지 확인하지 않은 채 표준 개발 기법을 적용하려고 했기 때문이다”라고 분석했다.

현재 사이크스는 헤이스팅스 뮤추얼 보험회사(Hastings Mutual Insurance Co.)의 데이터 서비스 부서 IT 책임자로 일하고 있으며, 이번에는 조직의 데이터 통합에 다른 접근 방식을 취했다.

헤이스팅스 뮤추얼 보험회사는 10년 전 모든 것을 데이터 웨어하우스 안에 모으기로 했다. 당시 보고서 생성에 45일이 걸렸고, 비즈니스 사용자는 결정을 내리는 데 필요한 정보를 갖고 있지 않았다.

당시 데이터 구조를 보면 먼저 레거시 시스템으로부터 매일 밤 일괄 가져오기를 통해 데이터가 랜딩 구역(landing area)에 수집된다. 그 다음으로는 스테이징 구역(staging area)로 이동된다. 여기에서는 다양한 시스템에서 온 데이터를 통합하고 조화시키기 위해 비즈니스 규칙이 적용된다. 이 과정에는 회사의 운영 방식과 데이터의 의미에 대한 심도 있는 이해가 필요했다. 그러나 이번에는 팀에 전문가가 있었기 때문에 프로젝트가 성공적이었다.

사이크스는 “회사에 장기 근속했고 조직에 대한 지식이 많은 직원이 몇 명 있었다. 이런 다양한 분야의 직원이 포함된 팀이 있어야 성공한다”라고 말했다.

예를 들어, 보험 상품은 시스템마다 약관과 보장 영역, 위험이 각각 다를 수 있다. 이 모든 정보를 통합하려면 데이터 팀은 원시 데이터를 범용 형식으로 변환하는 데 필요한 규칙과 비즈니스 언어를 잘 이해하고 있어야 한다.

사이크스는 “그것이 회사들이 마주치는 가장 큰 어려움이다. 회사들은 데이터를 입수하여 기술적으로 한 데 모으려 하지만 그런 정보 뒤에 있는 비즈니스 이야기를 잊어버린다. 많은 경우에 이런 종류의 프로젝트는 실패한다”고 지적했다.

헤이스팅스 뮤추얼 보험회사에서 45일이 걸리던 보고서 생성은 이제는 24시간 내에 완성될 수 있다. 데이터베이스가 계속 현대화되고 이벤트 주도형이 됨에 따라, 필요한 정보는 이제 보다 실시간으로 얻을 수 있는 환경이 되었다. 

단기 비즈니스 이익이 없는 것
비록 2014년에 시작한 데이터웨어하우스 프로젝트는 2017년이 되어서야 결과를 내놓았지만, 헤이스팅스가 데이터를 한 데 모으기 시작하자 데이터 프로젝트는 1년만에 가치를 생산하기 시작했다.

그 이유는 랜딩 구역과 스테이징 구역이 데이터 수집과 처리 측면에서 이미 가치를 제공하고 있었기 때문이다. 사이크스는 데이터 프로젝트는 프로세스 전체에 걸쳐 모두 비즈니스 가치를 제공해야 한다면서 “영원히 기다릴 사람은 아무도 없다”고 말했다.

미주 지역 NTT 수석 컨설턴트 데니스 알렉이 과거 주요 기업의 기업 IT 책임자였을 때 비슷한 “빠른 성과”가 주요 데이터 프로젝트의 성공으로 이어졌다.

알렉은 6주간의 개념 증명 프로젝트가 프로젝트에 가치가 있음을 보여 주었고 사업부가 데이터를 외부로 공개하지 않으려는 문제를 극복하는 데 도움이 되었다고 말했다.  알렉은 “데이터 소유권을 포기하는 것은 많은 사람들에게 통제의 상실을 의미한다. 정보가 힘이라고 생각하기 때문”이라고 덧붙였다.

이런 종류의 데이터 비축은 고위 임원들에게만 한정되지 않는다. 알렉은 “직원들은 타인의 데이터를 신뢰하지 않는 경향이 있다”고 지적했다. 직원들은 자체 데이터를 검증하고 관리하고 싶어하며, 자신에게 딱 필요한 도구를 직접 다루며 제작하고 싶어 한다는 것이다. 알렉은 “그런 상황 때문에 회사 전체에 걸쳐 다수의 중복 데이터베이스가 존재하고, 그런 상황으로 인해 문제가 발생하는 것을 다들 본 적이 있을 것이다”라고 설명했다.

젠팩트(Genpact)의 최고 디지털 전략가 산제이 스리바스타바는 즉각적인 이익이 없는 프로젝트를 선택하면 데이터 이니셔티브가 실패하기 쉽다고 설명한다. 

반면, 확장 능력이 전혀 없는 프로젝트를 선택하는 것도 피해야 한다. 확장 능력이 없는 데이터 프로젝트는 의미 있는 장기적인 영향을 미치지 못하게 되며 그 대신 규모가 작거나 특이한 사용 사례에 자원을 다 쓰게 되기 때문이다.

스리바스타바는 “관건은 비즈니스 가치를 조금씩 제공하되 사람들의 관심을 유지시키고 확장 가능한 기간에 하는 것이다”라고 말했다.

최종 사용자에게 필요한 셀프 서비스 도구를 제공하지 않는 것
비즈니스 사용자를 우선한다는 것은 사람들에게 필요한 데이터를 필요한 형식으로 제공하는 것을 의미한다. 가령 엑셀 스프레드시트가 될 때도 있다. 예를 들어, 헤이스팅스에서는 직원들이 예전부터 데이터 작업을 위해 엑셀에 데이터를 복사해 붙여 넣곤 했다.

헤이스팅스의 사이크스는 “다들 엑셀을 사용한다. 그러다보니 ‘데이터를 복사해 붙여 넣는 작업을 더 이상 할 필요가 없도록 그냥 데이터를 제공할 수 없을까’라는 논의가 나왔다”라고 설명했다.

헤이스팅스는 대시보드도 만들고 있다. 현재 외부 대행사는 물론 회사의 직원 420명 가운데 약 4분의 1이 해당 대시보드를 사용하고 있다. 사이크스는 “이제 대시보드의 도움으로 대리인들이 우리 제품을 끼워 팔 수 있다. 예전에는 그러지 못했다”라고 말했다.

그러나 사람들에게 필요한 셀프 서비스 애널리틱스 도구를 제공하는 것은 어려운 일이다. 사이크스는 “여전히 문제 해결 방안을 고민하고 있다. 그러나 200개의 비즈니스 중심 대시보드가 이미 갖춰져 있기에 그 과정은 순조롭게 진행 중이다”라고 설명했다. 

최근에 데이터 접근 민주화 과정을 시작한 또 다른 조직은 미국 데이튼 소아 병원이다. 5년 전에 데이튼 소아 병원은 데이터 작업을 잘하지 못했다. 데이튼 소아 병원 CIO 제이디 휘트록은 “스프레드시트가 여전히 많았다. 지금은 우리도 많은 사람들이 하듯이 마이크로소프트의 데이터 스택을 사용하고 있다. 파워BI(PowerBI) 사용 방법을 조금 아는 사람이 누구라도 있는 경우, 적절한 데이터를 적절한 형식으로 적절한 보안과 함께 제공할 수 있게 됐다”라고 밝혔다.

또한, 데이터 분석가는 다양한 곳에 퍼져 있기에, 데이터 관련 질문이 있을 때 특정 팀을 찾아갈 필요가 없다. 휘트록은 “예를 들어, 의사 Y가 작년에 X 수술을 몇 회 했는지 알고 싶다면 분석 도구에 바로 물어보면 된다. 만약 사람들에게 분석 독를 알려주지 않는다면 1,000건의 요청이 들어온다”고 설명했다”라고 설명했다. 

그는 셀프 서비스 데이터 도구를 갖춘 것이 회사가 데이터 주도형 조직으로 나아가는 데 도움이 되고 있다면서 “한번에 완성되는 데이터 분석의 길이란 없고, 계속 문제를 마주하고 해결해야 한다”고 말했다.

최종 사용자를 개발 과정에 포함시키지 않는 것
사용자 수요를 무시하면 참사가 생기기 마련이다. 일례로, 글로벌 컨설팅 회사 SSA 앤 컴퍼니(SSA & Company)의 응용 솔루션 책임자 닉 크레이머가 최근 함께 작업한 전국적인 식당 서비스 회사는 미국 46개 주에 사무소가 있고 연간 매출액이 최대 5억 달러로서 빠르게 성장하고 있는데, 서비스 수준은 떨어지고 있었다.

크레이머는 “다들 서로를 비난하고 있었는데 CIO에게는 대시보드나 보고서가 없고 개인적인 진술과 의견만 있었다”라고 지적했다.

또 다른 문제는 중앙 설치 시스템이 무시되고 있다는 점이었다. 직원들이 기록을 업데이트했지만 실시간이 아닌 늘 시간이 지나서야 이루어졌다. 직원들에게 배정된 시스템은 사용하기가 어려웠다.

크레이머는 “주문 부서, 영업 부서, 법무 부서, 그리고 설치 쪽에 있는 사람들, 즉 모든 사무소는 각자의 일정을 실행하는 스프레드시트가 저마다 달랐다. 따라서, 의사 소통이 전혀 일어나지 않았고 데이터는 흐르지 않았다. 따라서, 사무소별로 찾아가서 누가 무엇을 얼마나 잘 하고 있으며 어떤 지연이 해결 불가이고 어떤 지연은 해결 가능한지 알아내야 했다”라고 말했다.

이런 상황에서 해결책은 데이터가 사용되는 방식을 이해할 수 있도록 비즈니스 사용자에게 가까이 다가가는 것이었다.

커니(Kearney)의 파트너 조슈아 스와츠는 연 매출 수십 억의 한 미국 식품 회사와 컨설팅 프로젝트를 진행하던 당시에 비슷한 경험을 했다.

커니는 생산 관리자가 실제 데이터를 기준으로 무엇을 생산할지에 대한 결정을 더 잘 내리게 해 주기를 원했다. 스와츠는 “예컨대, 어떤 생산 현장에 생산 라인이 있는데 그 생산 라인에서는 토르티야 칩을 만들 수도 있고 피타 빵도 만들 수 있다. 생산 품목을 바꾼다면 중단 후 청소를 하고 재료를 바꿔야 한다”라고 말했다.

그런데 기존의 방식이 토르티야 생산을 4시간, 피타 빵 생산을 4시간 하는 것이었는데 데이터에 토르티야 칩 생산을 두 시간 해야 한다고 나왔다면 내일은 그 반대가 될 수도 있다. 식품은 잘 상하기 때문에 생산을 잘못하면 일부 제품을 폐기해야 한다. 그러나 스와츠는 “커니가 처음 해결책을 설계할 때 생산직 근로자들이 그 과정에 참여하지 않았다고 지적했다. 생산직 근로자들은 식품 생산에 너무 분주해서 일을 중단하고 회의에 참석할 시간이 없었다”라고 말했다.

이것이 문제가 될 것이라고 예상하지 못한 것은 회사의 문화가 계층적이기 때문이었다. 스와츠는 “CEO가 무슨 말을 하고 주먹으로 탁자를 내려 치면 다들 따라야 한다”라고 말했다.

결국 새로운 시스템은 시범 현장에서 몇 주만 사용되었고 그 후 직원들은 그 시스템이 자신들에게 맞지 않다고 여기고 예전 방식으로 돌아갔다. 또한, 회사의 데이터 최고 책임자가 최고 경영진이나 사업부에 가까이 있지 않고 회사 조직의 몇 계층 아래에 위치했다는 사실도 상황 해결에 도움이 되지 않았다. 

문제를 해결하려면 실제 직원을 설계 부서로 데려와야 했다. 근로자를 빼 오려면 생산 라인 용량을 추가해야 하지만 어쩔 수 없었다. 

스와츠는 “마진폭이 매우 작은 식품 회사들은 그런 투자를 하는 것을 언짢아 했다”라고 말했다. 그러나 프로세스의 일부가 되자 해결책에 기여할 수 있었고 지금은 전체 시설 중 3분의 1 내지 절반이 신기술을 사용하고 있다.

스와츠는 또한 최고 데이터 책임자(CDO)를 회사의 가장 가치 있는 데이터 가까이에 위치시킬 것을 추천했다. 그는 “데이터가 회사의 전략적 자산이라면 나는 CDO를 데이터 소유권이 있는 회사 부분에 가까이 두겠다. 조직이 운영 효율성을 위한 데이터 사용에 집중한다면 COO 아래가 맞는 장소일 것이다”라고 설명했다.

그러나 영업 주도형 회사라면 CDO를 영업 임원 아래에 두는 것이 좋고 제품 회사라면 마케팅 임원 아래에 두는 것이 좋다고 덧붙였다. 그가 함께 작업했던 한 소비자 포장 상품 회사는 실제로 CDO가 CEO에게 직접 보고하도록 했다.

스와츠는 “데이터를 기술 문제라고만 치부하면, 데이터와 애널리틱스에서 실제로 얼마나 많은 가치를 얻어내는지 제대로 경험하지 못하고 실패할 것이다”라고 지적했다.

신뢰 부족
데이터를 책임 있게 사용하는 것은 데이터 이니셔티브의 성공에 중요하다. 금융 분야라면 더더욱 그렇다. DBS 은행의 최고 애널리틱스 책임자 세미르 굽타는 “신뢰는 뱅킹 부문에서 가장 중요하다. 데이터와 모델을 책임 있게 사용하는 것이 필수적이며, 데이터 사용 중에 윤리적 고려사항을 반드시 지켜야 한다”라고 강조했다.

굽타는 데이터 사용은 목적의식이 있고 정중하고 설명 가능해야 하며 절대 뜻밖의 일이 아니어야 한다면서 “데이터 사용은 개인들과 기업들에 의해 예상되어야 한다”라고 말했다.

굽타는 DBS 은행이 신뢰에 집중함으로써 소비자 뱅킹과 중소기업 뱅킹과 같은 고객 대면 사업부터 준법, 마케팅, HR과 같은 지원 기능까지 전사적으로 AI 및 데이터 사용 사례를 배포할 수 있었다(마지막 집계에 따르면 260건)고 덧붙였다.

그는 “2022년에 AI 및 머신 러닝 이니셔티브의 매출 증가액은 약 1억5천만 싱가폴 달러로 전년도 대비 두 배 이상이었다. 우리는 다음 5년 이내에 10억 싱가폴 달러를 달성하기를 강력히 희망한다”라고 말했다.

신뢰 획득에는 시간과 헌신이 필요하다. 신뢰 없이는 데이터 주도형 회사가 되는 것이 거의 불가능하다. 그러나 일단 신뢰를 획득하면 선순환이 시작된다. 1월에 공개된 캡제미니(CapGemini) 변화 관리 연구에 따르면, 데이터 애널리틱스가 강력한 조직에서 직원들이 회사를 신뢰할 가능성이 18% 더 높다. 그리고 그런 회사들이 한층 더 발전해야 할 때 성공적인 변화의 확률이 타 조직에 비해 23% 내지 27% 더 높다.

글로벌 소매업체의 데이터 과학자이자 MIT에서 AI 연구 과학자로 재직한 바 있는 유제니오 주카렐리는 “데이터 전문가들을 포함한 많은 사람들이 데이터 주도형 회사가 되어가는 전환 과정 도중 기술 문제로 원하는 결과가 안나온다고 생각한다”라고 설명했다. 

그러나 실질적인 장애물은 개인적이며 이는 사람들이 데이터 기반 의사 결정의 가치를 이해하는 방법을 배워야 하기 때문이라고 설명했다.

주카렐리는 “나는 MIT에서 연구하는 동안 전문가들과 조직 리더들이 좀 더 데이터 주도적인 조직이 되어 가는 전환 과정을 힘들어 하는 모습을 자주 보았다. 주요 문제는 대개 문화적이었다. 예를 들면, 기술이 그들에게 권한을 부여하는 것이 아니라 그들의 의사 결정을 능가할 것이라는 믿음, 그리고 의사 결정을 경험과 육감을 기준으로 내리는 일반적인 경향이다”라고 말했다.

주카렐리는 사람들이 자신의 전문 기술이 여전히 필수적이라는 사실과 데이터는 추가적인 입력 내용을 제공하기 위해 존재한다는 사실을 이해해야 한다고 덧붙였다.

회사들은 데이터 주도형 회사가 되는 것이 기술 문제라는 생각을 멈춰야 한다. 로티스 블루 컨설팅(Lotis Blue Consulting) 매출 성장 부문 파트너 겸 데이터 과학 팀 책임자 돈차 캐롤은 “우리 고객들은 다들 좀 더 데이터 주도적으로 되는 것에 대해 이야기하지만 그것이 무슨 의미인지는 모른다”라면서 그들은 사람들이 입수한 데이터로 할 수 있는 것이 아닌 자신들의 기술 역량에 집중한다고 지적했다.

캐롤은 “그들은 솔루션의 사용자를 고려하지 않는다. 많은 데이터 애널리틱스 팀들의 데이터 대시보드가 제공하는 정보는 유용하지도 않고 실행 가능하지도 않다. 그리고 그런 정보는 열매를 맺지 못하고 죽는다”라고 말했다.
ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.