Offcanvas

디지털 트랜스포메이션 / 비즈니스|경제 / 빅데이터 | 애널리틱스

모두가 데이터 혜택 누린다··· 피델리티의 ‘파이프라인’ 혁신 이야기

2021.09.14 Thor Olavsrud  |  CIO
글로벌 자산 운용사 피델리티 인베스트먼트(Fidelity Investment)가 기업 그리고 생태계 전반에 걸쳐 데이터를 사용할 수 있도록 하는 ‘차세대 데이터 파이프라인’을 구축하고 있다. 

피델리티 인베스트먼트의 CTO 미히 샤는 약 4년 전부터 회사의 데이터 전략을 근본적으로 바꿀 계획이었다면서, “‘차세대 데이터 파이프라인’이라고 명명한 이 계획을 실현하기 위해 회사 최초의 데이터 아키텍처 및 엔지니어링 책임자가 되고자 했다”라고 말했다. 

샤에 따르면 해당 계획의 핵심은 ‘역할이 무엇이든 간에 더 쉽게 일을 하고 더 나은 의사결정을 내리도록 데이터를 사용할 수 있게 하는 것’이었다.  
 
ⓒGetty Images

데이터 중심 기업으로 나아가는 것은 수년 동안 많은 조직의 핵심 목표였지만 대부분은 데이터를 기반으로 신속한 의사결정을 내리는 데 실패했다. 피델리티 인베스트먼트의 경우에는 데이터 운영 모델을 혁신한 것이 성공의 토대였다고 그는 밝혔다. 

샤는 “모두가 데이터의 가치를 안다. 그리고 통합된 데이터가 사일로화된 데이터보다 가치 있다는 것도 안다”라면서, “(피델리티 인베스트먼트는) 이 문제에 관해 수년간 논의해왔지만 아무도 실제로 그렇게 하기 위해 운영 모델을 바꾸려 하지 않았다. 기술은 이미 존재한다. 점점 더 발전하고 있다. 하지만 핵심은 운영 모델이다”라고 전했다. 

‘사일로’에서 ‘이웃’으로
美 보스턴에 본사를 둔 다국적 금융 서비스 기업 피델리티 인베스트먼트는 세계 최대의 자산 운용사 중 하나다. 지난 2014년 아비게일 존슨이 아버지의 뒤를 이어 (그의 할아버지가 1946년 설립한) 피델리티의 CEO로 취임했다. 존슨은 ‘이웃(neighborhood)’이라는 개념에 기초한 조직 구조를 도입했다. 

샤는 “본질적으로 데이터는 수평적이다. 데이터에는 경계가 없다. 기술 영역에서 동일한 구성을 사용하지 않을 이유가 무엇인가?”라고 말했다. 이에 따라 클라우드, 데이터, 사이버 및 API 등 일련의 새로운 IT 이웃이 생겨났다. 그는 데이터 이웃을 담당했다. 

그의 계획은 피델리티의 데이터 관리 방식을 바꾸는 한편 4만 1,000명 이상의 직원이 데이터를 사용할 수 있도록 하는 것이었다. 

1994년 샤가 피델리티의 기술 고문으로 처음 합류했을 때, 이 회사는 데이터 사용에 있어 상대적으로 앞서 있었다. 예를 들면 고객 프로필과 고객 모델링이 포함된 마케팅 데이터베이스를 확보하고 있었다. 하지만 데이터는 비즈니스 전반에 걸쳐 통합돼 있지 않았다고 그는 지적했다. 

그는 “사일로화된 접근법은 여러 부작용이 있다. 누군가가 데이터 자산을 활용하려면 새로운 사용 사례마다 모든 곳에서 데이터 세트를 수집해야 한다. 즉 사일로화된 데이터를 사용하면 제품 출시까지 걸리는 시간과 마찰이 커진다”라고 언급했다. 

샤는 위치, 잔액, 거래 정보 등을 포함한 계정 데이터가 있는 기존 데이터 아키텍처의 단순한 데이터세트를 예로 들었다. 마케팅 부서는 해당 데이터로 총자산과 고객 행동을 계산하길 원한다. 위험 부서에서는 사기 행위 및 KYC를 계산하기 위해 동일한 데이터를 원한다. 재무 부서도 비용 단위를 만들고 고객의 수익성을 파악하기 위해 동일한 데이터를 필요로 한다.

그는 "마케팅 데이터 웨어하우스, 위험 데이터 웨어하우스, 재무 데이터 웨어하우스가 각각 운영됐다. 데이터는 모두 한곳에서 다른 곳으로 이동했다. 모두 잘 작동하긴 했지만 백엔드에서 이 모든 것을 관리하는 데 드는 비용은 엄청났다. 단순히 데이터를 이동시키는 것보다 더 많은 부가가치 활동에 그 돈을 쓸 수 있었다”라고 설명했다. 

이어서 샤는 “데이터베이스팀이 데이터를 A에서 B로 옮기는 데 얼마나 많은 사람이 관여하는지 아는가? 또 데이터를 이동할 때 버그 및 품질 이슈와 관련된 모든 종류의 문제가 발생한다. 계속해서 데이터를 이동시키기 때문에 얼마나 많은 사람이 이러한 문제를 해결하고 있는지 아는가?”라고 말했다. 

따라서 새로운 기술과 클라우드의 확장성을 사용하여 데이터를 사용자로부터 독립적으로 만드는 단일 데이터 웨어하우스를 구축하고자 했다고 그는 전했다. 

데이터 파이프라인 트랜스포메이션
샤의 트랜스포메이션 계획은 3단계로 나눠진다. ▲첫째, 데이터를 단일 클라우드 데이터 웨어하우스로 마이그레이션하고 새 데이터가 생성될 때 이를 데이터 웨어하우스로 공급하는 프로세스를 만들어야 했다. ▲둘째, 기업 내의 모든 사람이 웨어하우스에 쉽게 접근할 수 있도록 해야 했다. ▲셋째, 피델리티의 윤리, 프라이버시 및 계약 표준의 범위 내에서 모든 것이 안전해야 했다.

그에 따르면 데이터 레이크와 같은 개념을 구현하는 기업의 경우 이해당사자가 데이터 소유권 포기를 주저하는 게 주요 걸림돌이다. 

샤는 “이해당사자가 소유권을 포기하지 않아도 되지만 실제로 모든 데이터를 통합할 수 있는 비즈니스 모델을 만들 방법을 재고해야 했다”라고 언급했다. 그의 팀은 플랫폼의 클라우드 데이터베이스, 수집 파이프라인, 모니터링 및 데이터 카탈로그의 엔지니어링을 담당한다.

또 새로 생성된 데이터를 데이터 레이크에 가져오기 위한 절차도 마련해야 했다고 그는 전했다. 이 프로세스는 최상위 수준의 15개 데이터 범주와 최하위 수준의 3,000개 범주를 포함하는 피델리티의 분류 체계를 감안해 고도로 조정돼야 했다. 샤의 팀은 플랫폼에 데이터를 시드하는 순서를 제공하고 프로세스를 조정하지만 데이터 소유자는 프로세스를 실행한다.

“데이터는 현재 관리하고 소유하는 사람이 가장 잘 소유하고 관리한다. 각 데이터 소유자가 플랫폼에 데이터를 밀어 넣고 플랫폼을 시드하는 한편 계속해서 소유해야 한다고 봤다”라고 그는 설명했다.

샤의 전략에서 또 다른 핵심 요소는 사람들이 플랫폼을 사용하고, 제품을 빌드하며, 기존 애플리케이션, 대시보드 및 보고 등을 마이그레이션하도록 하는 것이었다. 

 
Mihir Shah ⓒFidelity
그는 “최상의 데이터 소스, 깨끗한 데이터 소스, 관리되는 데이터, 필요한 경우 누군가와 논의할 수 있는 데이터가 있다면 사람들은 이에 끌리게 될 것”이라면서, “이젠 거의 네트워크 효과다. 이곳이 데이터를 얻기에 가장 좋은 장소라는 걸 누구나 알고 있다. 업무를 하면서 데이터세트 몇 개가 없어진 걸 발견하고는 비즈니스 파트너에게 ‘이 데이터세트가 필요하다’라고 말한다. 따라서 더 많은 데이터가 유입되고 사용량이 증가할수록 데이터세트 수요도 증가한다”라고 말했다. 

고객 데이터 플랫폼 업체 사이몬 데이터(Simon Data)와 협력하고 있는 피델리티는 지난 2020년 1월부터 새로운 전략을 구현하기 시작했다. 샤는 피델리티의 전체 엔지니어가 이 계획에 열광하도록 한 게 나머지 직원이 해당 트랜스포메이션을 받아들이게 하는 핵심이었다고 강조했다.

“엔지니어를 참여시키고 열성적으로 만들면 관리자와 비즈니스 파트너를 설득할 수 있다. 이들은 버티컬 비즈니스에서 판매하고 비즈니스 유닛 내에서 신뢰받고 있다. 다른 사람이 나를 믿지 않더라도 자신의 엔지니어는 믿는다”라고 그는 덧붙였다.

샤에 의하면 현재 플랫폼에는 약 2페타바이트의 데이터가 있다. 한편 샤는 이 전략의 진정한 힘이 명백해지면서 자신의 관점과 초점이 바뀌었다고 밝혔다.

그는 “피델리티 내부에서 이렇게 할 수 있다면 데이터 아키텍처를 생태계로 확장하지 못할 이유가 있을까? 이제 데이터 아키텍처를 생각할 때 피델리티 비즈니스 유닛뿐만 아니라 전체 생태계까지 고려하고 있다. 예를 들어 어떻게 하면 기관 고객을 위해서도 데이터를 자산으로 만들 수 있을까? 어떻게 하면 공급업체를 위해 매일 밤 수십만 개의 FTP 파일을 보내지 않도록 할 수 있을까?”라고 말했다. 

이어서 그는 “데이터 아키텍처가 비즈니스 유닛에만 국한되어서는 안 된다. 기업 전체여야 한다는 건 모두가 알고 있지만 기업을 넘어 전체 도메인이나 생태계까지 생각해야 한다”라고 조언했다. ciokr@idg.co.kr



 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.