Offcanvas

빅데이터 | 애널리틱스

‘데이터 패브릭으로 6주 안에 API 구축’ 美 화물운송사의 실시간 데이터 플랫폼 도입기

2023.01.11 Yashvendra Singh  |  CIO
미국의 화물운송사업자 에스테스 익스프레스(Estes Express)가 기업 사용자와 고객 모두에게 인사이트를 제공하기 위해 로지컬 데이터 패브릭으로 실시간 데이터 플랫폼을 구축했다. 
 
ⓒGetty Images Bank

갈수록 기업 고객은 실시간으로 측정되는 데이터를 보길 원한다. 화물 운송 제공업체 에스테스 익스프레스(Estes Express)는 이런 수요에 대응하고자 데이터 운영 전략을 쇄신하려는 기업 중 하나다. 

에스테스 익스프레스는 트랙터 8,500대와 트레일러 34,000대 이상을 운영하는 큰 운송 기업이다. 회사는 셀프 서비스 애널리틱스를 강화하고, 고객을 비롯한 내부 이해관계자가 고객의 수요에 대응하는 데 필요한 실시간 정보를 제공하고자 대대적인 데이터 전환 프로젝트에 착수했다. 

여느 기업과 마찬가지로 회사의 데이터는 상이한 데이터 소스에 분산되어 있었으며, 각 애자일 프로젝트 팀은 여러 소스에 접근하고자 코드를 제각기 작성해야 했다. 

에스테스 익스프레스 라인스의 데이터 전략, BI, 애널리틱스 총 책임자 밥 쿠르노이어는 "일관성 있는 데이터 통합 및 관리 전략이 없어 고객 경험에 영향을 미쳤을 뿐 아니라 TTM(Time to Market)의 발목을 잡았다. 소중한 인적 자원이 낭비됨은 물론이었다"라고 말했다. 
 

번거롭기 짝이 없는 데이터 작업 

팬데믹으로 인해 점점 더 많은 고객들이 운송에 차질이 생기지 않을까 노심초사하면서 실시간 운송 정보에 대한 수요가 늘어났다. 예상 요금, 배송 기간, 물품 손상 여부에 대한 실시간 데이터를 요청했다. 회사는 데이터 웨어하우스를 운영했지만 주로 데이터 애널리틱스에만 사용했다. 24시간마다 일괄 업데이트되었으므로 실시간 데이터는 아니었다. 

커노이어는 "클라우드, 온프레미스, 여러 데이터베이스, 심지어 일부 데스크톱 등 데이터가 온 곳에 흩어져 있어 고객의 요구를 충족시키기 어려웠다. 고객과 직원 모두 불편했다"라고 말했다. 

상이한 소스에서 가져온 데이터를 보편적인 형태로 공유하는 방식도 IT 부서에 큰 짐이 됐다. 커노이어는 "회사의 클라우드 기반 시스템은 특성상 매우 특정한 형식으로만 작동하며, 일관성이 없다. 예컨대 회사는 세일즈포스 CRM으로 고객을 관리하고 오라클 ERP로 비영업 부서를 관리했는데, 다른 시스템의 데이터를 하나로 합쳐야 하는 경우가 많았다. 이는 매우 비효율적인 작업이었다. 사용자가 셀프서비스를 할 수 없어 우리가 따로 자원을 할당해줘야 했다"라고 설명했다. 

기존 시스템에서 IT 팀은 데이터를 요청한 사람을 실제 데이터 소스에 바로 연결해줄 수 없었다. 먼저 요청받은 데이터를 소싱하기 위해 ITIL 프로세스를 작성해야 했으며, 받은 데이터를 다른 데이터베이스로 옮겨야만 비로소 접근이 가능했다. 

쿠르노이어는 “누군가 새로운 데이터를 요청할 때마다 코드를 짜 테스트 라이프사이클 전체를 처음부터 다시 거쳐야 했다. 비즈니스 차원에서만 봐도 매우 비효율적이었다”라며 “어떨 때는 15명에 달하는 데이터 팀 중 7명이 데이터 애널리틱스 작업에 몰두해야 했다”라고 전했다. 

이런 데이터 애널리틱스 작업방식은 TTM 지연으로 이어졌다. 그는 “사업 가치가 있는 솔루션을 제공하려면 데이터를 소싱하고, 애널리틱스를 수행하고 코드를 작성하기 위해 많은 시간을 확보해야 했다. 복잡도에 따라 6~8주가 소요됐다”라고 말했다. 

이런 문제를 겪으며 에스테스 익스프레스는 데이터 관리 플랫폼의 필요성을 절감했다. 이 외에도 회사는 기술 부채를 줄여야 했다. 쿠리노이어는 “언제까지 밑 빠진 독에 물을 부을 수는 없었다. 데이터를 복사하고 이동하는 데도 큰 비용이 들어 변화가 필요했다”라고 말했다. 
 

데이터 전략 경쟁력 확보하기 

이런 문제를 종합적으로 고려했을 때 쿠르노이어는 기출 부채를 늘리지 않고 내부 비즈니스 사용자나 IT 시스템에 실시간으로 데이터를 제공하기 위한 데이터 전략을 구상하기 시작했다.  

그는 “IT 부서 전체를 개편했다. 데이터 팀을 분리했고 데이터 애널리스트를 애자일 팀으로 편성해 모든 데이터 요청을 처리하게 했다. 그리고 모든 데이터 작업의 기반이 될 데이터 플랫폼을 고르려 했다”라고 말했다. 

에스테스 익스프레스는 IBM 등의 대기업을 비롯해 여러 기업의 솔루션을 고려했다. 결국 디노도(Denodo)의 데이터 패브릭(data fabric)에 모든 데이터를 모으기로 했다. 

그는 “솔루션 배치에 앞서 6주 동안 개념 증명을 수행하기로 했다. 회사에서 가장 많은 요청을 받는 데이터의 몇 가지 핵심 영역을 선택해 가상화하자 전체 데이터 유니버스(data universe)의 10% 정도가 됐다. 이 외에도 6주 만에 이를 기반으로 한 API를 구축하기도 했다. 이 모두가 시스템을 처음 써본 팀이 해낸 일이다. 그만큼 익히기 쉽다는 뜻이다”라고 말했다. 

6주가 지난 뒤 커노이아와 그의 팀은 비즈니스 부문에 주요 개념 2-3개 정도를 적용할 수 있었고, 개념 증명 작업은 다음 프로젝트로 연장됐다. 이 짧은 기간 안에 팀은 전체 데이터의 50% 이상을 맵핑할 수 있었으며 고급 기능 몇 개를 사용하기 시작했다. 그는 “1년 반이 지난 지금 시스템은 일상처럼 익숙해졌다”라며 “전체 데이터 90% 이상이 완전히 맵핑됐다”라고 전했다. 

에스테스 익스프레스는 여전히 운영 데이터 대부분을 온프레미스로 보유하고 있어 온프레미스 구현 방식을 택했다. 그럼에도 데이터 패브릭은 회사 내외의 클라우드 기반 데이터 소스를 커버하며, 단일 SSOT을 구축해 실시간 데이터 일관성을 제공한다. 
 

CX 개선, TTM 감소

데이터 가상화을 기반으로 한 데이터 패브릭이 마련된 덕분에 에스테스 익스프레스는 이제 소스 데이터의 위치와 형식에 상관없이 실시간으로 데이터를 관리, 통합, 제공할 수 있다. 

쿠르노이어는 “이제 고객 관리 담당자가 정보에 쉽게 접근할 수 있어 정신없이 데이터를 찾아다닐 필요가 없다. 고객과 내부 사용자에게 훨씬 더 큰 가치를 전달할 수 있게 됐다. 이제 운송 현황을 그 어느 때보다 더 소상히 파악할 수 있어 최적화된 고객 경험을 제공하게 됐다”라고 설명했다. 

쿠르노이어는 “회사는 업체를 통해 고객 만족도를 측정하는데, 이에 따르면 고객 만족도가 눈에 띄게 올라갔다. 고객 평가 점수와 만족도 조사 결과를 분석해 비즈니스에 반영하는 노력도 진행 중이다”라고 말했다. 

새로운 데이터 전략 덕분에 TTM도 감소했다. 그는 “솔루션을 제공하는 데 수주 또는 심지어 수개월이 소요됐지만, 이제는 며칠이나 몇 시간 안으로 줄어들었다. TTM 감소로 직원들에게 더 빨리 데이터를 전달할 수 있게 돼 인건비도 10%나 감소했다”라고 설명했다. 모든 프로젝트가 일관된 중앙 집중 데이터베이스에 접근하게 돼 후속 배치 작업도 줄어들었다. 회사가 상당한 양의 시간과 자원을 절약할 수 있게 됐다. 

IT 부서는 더 이상 데이터를 이동하여 저장할 필요가 없으며, 이로 인해 SQL 데이터베이스의 수가 감소해 라이선스 및 스토리지 비용이 낮아지면서 해당 기업의 기술 부채가 감소했다.

새로운 전략은 에스테스 익스프레스가 API를 다시 자체 개발하는 데 일조하기도 했다. 쿠르노이어는 “외부 업체에 API 개발을 맡겼었다. API를 구축하는 데 6-8주가 소요되었고, 해당 사이클 중간에 요건이 바뀌면 다시 시작해야 했다”라며 “하지만 새로운 데이터 플랫폼을 도입하자 자체적으로 2시간 만에 몇 개의 API를 개발해냈다. 외주 업체에 의존도가 낮아져 큰 비용을 절감했다”라고 말했다. 그는 새 데이터 패브릭 기반 전략이 회사의 새로운 데이터 거버넌스 프로그램을 위한 기반을 마련했다고 덧붙였다. ciokr@idg.co.kr
추천 테크라이브러리

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2023 International Data Group. All rights reserved.