2020.11.27

애물단지에서 혁신 소스로··· ‘다크 데이터’ 활용하기

Martin De Saulles | CIO
데이터에 대한 관심은 그리 새롭지 않다. 기업이 보유한 데이터에는 제대로 활용하기만 하면 꾸준히 경쟁 우위를 유지할 수 있는 잠재력이 있다는 것은 스타트업과 기존 기업 사이에 오랫동안 알려진 사실이다. 그러나, 데이터 소스가 많이 상품화되고 규모 있는 데이터 조작을 가능하게 해 주는 도구들의 가격과 접근성이 좋아지면서 경쟁의 규칙이 변화하고 있다. 

즉, 데이터를 어디에서 구할 것이며 어떻게 사용할 것인가 하는 부분에서 회사들의 창의력이 더욱 발휘되어야 한다. 그리고 '다크 데이터'를 남들보다 일찍 나서서 활용한다면 경쟁 우위를 확보할 수 있는 절호의 기회가 열린다.

엄청나게 몰려드는 데이터
IDC에서 시게이트(Seagate)의 의뢰를 받아 실시한 조사에 따르면 기업 데이터는 향후 2년동안 매년 42% 늘어날 것으로 보인다. 그런데 기업 데이터 중 효과적으로 사용되는 비율은 32%에 불과하며 3분의 2 이상은 조직 내 이곳 저곳에 고립된 채 놀고 있는 실정이다. 

이처럼 기업의 정상적인 업무 활동의 부산물로 수집되었으나 수입을 창출할 수 있는 다른 활동에 활용되지 못하고 있는 정보 자산을 표현하는 용어가 ‘다크 데이터’다. 가트너에 따르면, 다크 데이터는 많은 부분 규정 준수를 위해 보관되는데, 안전한 보관을 위해 비생산적인 간접비가 많이 발생되고 있다.

대두되는 데이터 문제의 상당 부분은 기업 IoT 보급의 확산에서 기인할 전망이다. IDC의 예측에 따르면 2025년까지 전세계적으로 연결 장치 수가 557억 대에 이르고 그 중 75%는 IoT 플랫폼에 연결되어 연간 73.1ZB의 데이터를 생성하게 된다. 이는 현재의 연간 데이터 생성량 18.3ZB보다 훨씬 높은 수치이다. IoT 데이터는 주로 사내 특정 애플리케이션용으로 수집되지만 다른 목적에도 활용 가능하다.

다크 데이터로 효율성 증대
데이터 활용에 능숙한 기업들 입장에서는 효과적인 데이터 활용 방법을 찾는 것이 관건이다. 처음에는 기존 제품 및 서비스를 개선하고 비즈니스 프로세스를 간소화하는 방식이 가능할 수 있다. 

일례로, 기내식 업체 게이트 고메(Gate Gourmet)는 직원들의 인구통계, 연봉, 출퇴근 수단 등 관련 데이터를 분석한 결과 직원의 집에서 공항까지의 거리와 출퇴근 수단이 이직의 주요 원인이라는 사실을 알게 되었다. 채용 과정에서 이러한 점에 좀더 신경을 쓴 결과 직원 이탈률이 27% 개선됐다.

내부 다크 데이터 활용의 또 다른 사례는 유럽의 한 대형 호텔 체인이다. 이 호텔 그룹사는 운영 중인 27개 호텔 1만 3,000개 객실 내 투숙객의 와이파이 사용 데이터를 분석하여 고객 서비스 개선에 활용한 사례가 있다. 해당 데이터는 그 전까지 수년 간 수집은 했지만 비즈니스 가치 실현 가능성을 검토한 적은 없었다. 

그러나 각 호텔에 연결된 장치 총 대수, 식당이나 수영장 등 장소별 장치 총 대수, 각 장소에서 보낸 평균 시간 등의 데이터를 시간 경과에 따라 추적한 결과 상당한 개선이 가능했다. 이를테면 체크인 및 체크아웃 장소에서 대기 시간이 지나치게 긴 문제가 발견되어 시정되었을 뿐만 아니라, 주요 시간대에 호텔 곳곳의 직원 배치도 개선됐다.

데이터 교류로 다크 데이터 활용 
조직 내에 고립되어 있던 다크 데이터를 활용한다면 가치 있는 미사용 자산을 찾아낼 수 있지만 이익 극대화를 위해서는 외부 데이터를 도입해야 할 때가 많다. 해당 조직은 보유한 다크 데이터를 어디에 써야 할지 모를지라도 다른 조직은 아는 경우가 있기 때문이다. 

이러한 이점을 살리려면 데이터 교류의 역할이 중요하다. 액센추어는 IoT 분야에서의 데이터 교류로 2030년까지 3조6,000억 달러의 가치를 이끌어낼 것으로 보고 있다.

예를 들면, 기상청은 연안 유정 센서에서 나온 데이터를 구매하여 날씨 예측 모델 개선에 활용할 수 있다. 신규 개발 프로젝트에서 경쟁 우위를 확보하려는 부동산 개발업자라면 대형 건물 내 공조 기기에서 나온 데이터를 구매할 수 있다. 이 밖에 사람이 많은 시가지 중심의 고화질 감시 동영상을 AI를 통해 고속으로 대규모 분석한 후 디자이너들에게 제공하면 주류가 될 새로운 패션 트렌드를 미리 감지하는 데 도움이 될 수 있다.

한편 데이터 교류를 통해 기업과 스타트업은 예전에는 따로 떨어져 있고 저평가되어 있던 데이터 스트림을 합쳐서 혁신적인 제품과 서비스를 새롭게 만들어낼 가능성을 얻게 된다. 열린 마음과 실험 의지가 있는 기업이 승자가 될 것이다.

2000년 구글의 애드워즈(AdWords)가 나오기 전까지는 웹 검색 데이터는 가치가 거의 없는 것으로 인식되었다. 그러나 검색 결과를 중심으로 문맥상 관련 있는 광고를 배치하는 방식이 도입되면서 1,350억 달러 규모의 사업이 탄생했고 광고계는 그 이후로 영원히 바뀌었다. 

다크 데이터 활용의 첫 단계
말처럼 쉽지는 않지만 기업 내에 데이터 문화를 조성하는 것이 다크 데이터로부터 수익을 얻기 위해 중요한 단계이다. 하버드 비즈니스 리뷰(HBR)에 따르면 이 작업은 고위급에서 시작되어야 한다. 의사결정은 반드시 데이터를 기준으로 한다는 원칙을 관리자들이 수립해야 한다는 것이다.

데이터 과학 팀이 있는 기업은 데이터 과학 팀을 기업의 핵심 운영에서 배제하지 않고 전 부서에 걸쳐 통합시켜야 한다. 그러면 데이터 관리 기본 원칙에 대한 팀 교육에 도움이 될 뿐만 아니라, 고립된 데이터가 어디에 숨어 있는지 데이터 과학자들이 파악하기 쉬워진다.

무엇보다도 미사용 데이터 자산을 활용하려는 기업에게는 전통적인 업무 방식과 백오피스 프로세스 차원을 넘어선 사고 방식이 궁극적으로 필요하다. 창의적이고 열린 사고방식으로 다크 데이터 활용법을 모색한다면 진흙 속에 묻힌 진주를 발견할 가능성이 높다. ciokr@idg.co.kr



2020.11.27

애물단지에서 혁신 소스로··· ‘다크 데이터’ 활용하기

Martin De Saulles | CIO
데이터에 대한 관심은 그리 새롭지 않다. 기업이 보유한 데이터에는 제대로 활용하기만 하면 꾸준히 경쟁 우위를 유지할 수 있는 잠재력이 있다는 것은 스타트업과 기존 기업 사이에 오랫동안 알려진 사실이다. 그러나, 데이터 소스가 많이 상품화되고 규모 있는 데이터 조작을 가능하게 해 주는 도구들의 가격과 접근성이 좋아지면서 경쟁의 규칙이 변화하고 있다. 

즉, 데이터를 어디에서 구할 것이며 어떻게 사용할 것인가 하는 부분에서 회사들의 창의력이 더욱 발휘되어야 한다. 그리고 '다크 데이터'를 남들보다 일찍 나서서 활용한다면 경쟁 우위를 확보할 수 있는 절호의 기회가 열린다.

엄청나게 몰려드는 데이터
IDC에서 시게이트(Seagate)의 의뢰를 받아 실시한 조사에 따르면 기업 데이터는 향후 2년동안 매년 42% 늘어날 것으로 보인다. 그런데 기업 데이터 중 효과적으로 사용되는 비율은 32%에 불과하며 3분의 2 이상은 조직 내 이곳 저곳에 고립된 채 놀고 있는 실정이다. 

이처럼 기업의 정상적인 업무 활동의 부산물로 수집되었으나 수입을 창출할 수 있는 다른 활동에 활용되지 못하고 있는 정보 자산을 표현하는 용어가 ‘다크 데이터’다. 가트너에 따르면, 다크 데이터는 많은 부분 규정 준수를 위해 보관되는데, 안전한 보관을 위해 비생산적인 간접비가 많이 발생되고 있다.

대두되는 데이터 문제의 상당 부분은 기업 IoT 보급의 확산에서 기인할 전망이다. IDC의 예측에 따르면 2025년까지 전세계적으로 연결 장치 수가 557억 대에 이르고 그 중 75%는 IoT 플랫폼에 연결되어 연간 73.1ZB의 데이터를 생성하게 된다. 이는 현재의 연간 데이터 생성량 18.3ZB보다 훨씬 높은 수치이다. IoT 데이터는 주로 사내 특정 애플리케이션용으로 수집되지만 다른 목적에도 활용 가능하다.

다크 데이터로 효율성 증대
데이터 활용에 능숙한 기업들 입장에서는 효과적인 데이터 활용 방법을 찾는 것이 관건이다. 처음에는 기존 제품 및 서비스를 개선하고 비즈니스 프로세스를 간소화하는 방식이 가능할 수 있다. 

일례로, 기내식 업체 게이트 고메(Gate Gourmet)는 직원들의 인구통계, 연봉, 출퇴근 수단 등 관련 데이터를 분석한 결과 직원의 집에서 공항까지의 거리와 출퇴근 수단이 이직의 주요 원인이라는 사실을 알게 되었다. 채용 과정에서 이러한 점에 좀더 신경을 쓴 결과 직원 이탈률이 27% 개선됐다.

내부 다크 데이터 활용의 또 다른 사례는 유럽의 한 대형 호텔 체인이다. 이 호텔 그룹사는 운영 중인 27개 호텔 1만 3,000개 객실 내 투숙객의 와이파이 사용 데이터를 분석하여 고객 서비스 개선에 활용한 사례가 있다. 해당 데이터는 그 전까지 수년 간 수집은 했지만 비즈니스 가치 실현 가능성을 검토한 적은 없었다. 

그러나 각 호텔에 연결된 장치 총 대수, 식당이나 수영장 등 장소별 장치 총 대수, 각 장소에서 보낸 평균 시간 등의 데이터를 시간 경과에 따라 추적한 결과 상당한 개선이 가능했다. 이를테면 체크인 및 체크아웃 장소에서 대기 시간이 지나치게 긴 문제가 발견되어 시정되었을 뿐만 아니라, 주요 시간대에 호텔 곳곳의 직원 배치도 개선됐다.

데이터 교류로 다크 데이터 활용 
조직 내에 고립되어 있던 다크 데이터를 활용한다면 가치 있는 미사용 자산을 찾아낼 수 있지만 이익 극대화를 위해서는 외부 데이터를 도입해야 할 때가 많다. 해당 조직은 보유한 다크 데이터를 어디에 써야 할지 모를지라도 다른 조직은 아는 경우가 있기 때문이다. 

이러한 이점을 살리려면 데이터 교류의 역할이 중요하다. 액센추어는 IoT 분야에서의 데이터 교류로 2030년까지 3조6,000억 달러의 가치를 이끌어낼 것으로 보고 있다.

예를 들면, 기상청은 연안 유정 센서에서 나온 데이터를 구매하여 날씨 예측 모델 개선에 활용할 수 있다. 신규 개발 프로젝트에서 경쟁 우위를 확보하려는 부동산 개발업자라면 대형 건물 내 공조 기기에서 나온 데이터를 구매할 수 있다. 이 밖에 사람이 많은 시가지 중심의 고화질 감시 동영상을 AI를 통해 고속으로 대규모 분석한 후 디자이너들에게 제공하면 주류가 될 새로운 패션 트렌드를 미리 감지하는 데 도움이 될 수 있다.

한편 데이터 교류를 통해 기업과 스타트업은 예전에는 따로 떨어져 있고 저평가되어 있던 데이터 스트림을 합쳐서 혁신적인 제품과 서비스를 새롭게 만들어낼 가능성을 얻게 된다. 열린 마음과 실험 의지가 있는 기업이 승자가 될 것이다.

2000년 구글의 애드워즈(AdWords)가 나오기 전까지는 웹 검색 데이터는 가치가 거의 없는 것으로 인식되었다. 그러나 검색 결과를 중심으로 문맥상 관련 있는 광고를 배치하는 방식이 도입되면서 1,350억 달러 규모의 사업이 탄생했고 광고계는 그 이후로 영원히 바뀌었다. 

다크 데이터 활용의 첫 단계
말처럼 쉽지는 않지만 기업 내에 데이터 문화를 조성하는 것이 다크 데이터로부터 수익을 얻기 위해 중요한 단계이다. 하버드 비즈니스 리뷰(HBR)에 따르면 이 작업은 고위급에서 시작되어야 한다. 의사결정은 반드시 데이터를 기준으로 한다는 원칙을 관리자들이 수립해야 한다는 것이다.

데이터 과학 팀이 있는 기업은 데이터 과학 팀을 기업의 핵심 운영에서 배제하지 않고 전 부서에 걸쳐 통합시켜야 한다. 그러면 데이터 관리 기본 원칙에 대한 팀 교육에 도움이 될 뿐만 아니라, 고립된 데이터가 어디에 숨어 있는지 데이터 과학자들이 파악하기 쉬워진다.

무엇보다도 미사용 데이터 자산을 활용하려는 기업에게는 전통적인 업무 방식과 백오피스 프로세스 차원을 넘어선 사고 방식이 궁극적으로 필요하다. 창의적이고 열린 사고방식으로 다크 데이터 활용법을 모색한다면 진흙 속에 묻힌 진주를 발견할 가능성이 높다. ciokr@idg.co.kr

X