Offcanvas

BI / How To / 데이터센터 / 디지털 트랜스포메이션 / 빅데이터 | 애널리틱스 / 애플리케이션

각종 데이터를 한눈에!··· 비즈니스 '싱글뷰' 구축 10단계

2017.04.10 Thor Olavsrud  |  CIO


6단계: 데이터 로딩(불러오기)과 표준화
'싱글뷰' 데이터 모델을 만든 후, 이 '싱글뷰'에서 데이터를 표시하는 방법을 규정해야 한다. 캡처한 속성 필드에 동일한 이름을 적용해야 한다. 생년월일이라는 동일한 속성이 데이터 소스 별로 'DoB', 'Date of Birth', 'Birthdate' 같이 다양하게 표현될 수 있기 때문이다. 이런 필드명을 표준화 해야 한다.


 

(클릭하면 이미지 커짐)

 

키프는 다음과 같이 설명했다. "6단계는 소스 시스템에서 가져온 데이터를 변환하고 표준화시키는 단계다. 이는 첫 데이터 로딩이 출발점이 된다. 처음 로딩을 했을 때 '싱글뷰' 데이터베이스는 비어 있는 상태이다. 이후 소스 시스템의 데이터를 규정한 요구 사항에 맞춰야 한다.”
“그런 후, '싱글뷰'로 업데이트 한다. 배치로 처리할 수도 있지만, 최근에는 더 새로운 '보기'를 원하는 경향이 있다. 이런 이유로 아파치 카프카(Apache Kafka)가 인기를 끌고 있다. 실시간에 가까운 버전의 데이터를 제공한다. 우리는 이를 '델타 로딩'이라고 부르고 있다."

7단계: 매칭(비교), 통합, 조정
앞서 단계에서 데이터를 표준화 했지만, 여전히 소스 시스템을 기준으로 데이터가 일치하는지 파악하는 알고리즘을 사용해야 한다. 예를 들어, 'Mat Keep', 'Mr. Keep', "Matthew Keep'라는 레코드를 이용하는 비즈니스 출장 애플리케이션이 있다고 가정하자. '싱글뷰' 애플리케이션은 이들 레코드를 매칭, 통합, 조정해야 한다.

키프는 "가장 힘든 단계 중 하나다. 'Mat Keep', 'Mr. Keep', "Matthew Keep'를 동일인으로 인식해야 한다. 따라서 매칭과 통합이 필요하다. 신용카드 번호 등 고유 식별자를 사용할 수 있다. 이 필드를 검색해 동일인임을 확인하는 것이다. 특징적인 데이터가 없거나, 오식이 있다면 파일 속성을 포착해야 한다. 유사한 속성의 레코드를 묶어, 동일인인지 판단을 내리기 시작할 수 있다. 이 과정을 자동화 하는 도구를 사용할 수 있을 것이다"라고 말했다. 한편 머신 학습이 이와 관련해 중요한 역할을 할 수 있다.

8단계: 아키텍처 디자인
아키텍처 디자인은 '싱글뷰' 프로젝트를 적용하기 시작하는 단계다. 키프는 "실제 적용(배포) 방법에 대한 단계다. 기반이 되는 시스템이 목표한 성능, 가용성, 보안을 충족하도록 만들어야 한다. 이 단계에서 개인 식별 정보(PII)를 적절히 보안 처리하고, 시스템이 실패나 중단으로부터 복원력을 갖도록 만든다”라고 설명했다.

조치 9: 소비 시스템을 수정
데이터를 소비하는 시스템을 확인하고, 애플리케이션에 '싱글뷰'를 도입하는 단계다. 애플리케이션이 데이터를 가져올 RESTful API를 구현하는 경우가 많다.

조치 10: 유지관리 프로세스
고정된 상태로 변화하지 않는 비즈니스 시스템은 없다. 새 프로세스가 추가되거나, 버그가 수정될 때마다 시스템이 변경된다. 완벽한 데이터 모델을 구축했지만, 소스 시스템이 바뀌거나 없어져 5일 정도 밖에 사용 못할 수도 있다. '싱글뷰' 프로젝트에서 유연한 데이터 모델이 아주 중요한 이유가 여기에 있다. 빠르게 바뀌는 소스 시스템을 따라갈 수 있는 데이터 모델을 개발해야 한다.

키프는 "10단계는 '메타' 단계이다. '싱글뷰'를 유지하기 위해서는 앞서 9단계를 되풀이하고, 지속적으로 데이터 모델을 업데이트해야 한다. 10단계는 앞서 프로세스가 계속 순환하는 단계이다. '싱글뷰'를 최신 상태로 유지하기 위해 관리 프로세스를 바꿔야 한다. 데이터 스튜어드는 소스 시스템의 보호자 역할을 한다. 새로운 애플리케이션 기능이 배포되면, '싱글뷰' 팀과 변경 사항을 처리해야 한다. '온-디맨드'가 되어야 한다. '싱글뷰' 팀은 변화(변경)를 즉시 수용할 준비를 해야 한다. 그리고 데이터 스튜어드는 개발 팀과 밀접히 협력해야 한다"라고 강조했다.

'싱글뷰' 성숙도 모델
몇몇 '싱글뷰' 프로젝트를 진행해 익숙해졌다면, 다음으로 야심 찬 비전을 수립해 추진할 수 있다.
키프는 "큰 목표를 추구하기 쉽다. 이 때에도 여전히 규정된 문제를 출발점으로 삼는 것이 더 효과적이다”라고 설명했다.

그는 이어 “싱글뷰를 구현하면 효과가 있다는 것을 알게 된다. 고객들은 더 적극적으로 이를 활용할 방법을 추구한다. 더 새로운 데이터를 얻기 위해 '싱글뷰'에 쓰기(writing)를 시작한다. 우리 고객 중 인터내셔널 뱅킹 그룹(International Banking Group)과 같은 기업은 싱글뷰 우선 접근법을 취한다. 이들은 새 기능이 필요할 때, 처음부터 '싱글뷰'로 구현을 한다. 백엔드 소스 시스템을 변경한 경우, 로드를 소스 시스템으로 역류시킨다"라고 설명했다. ciokr@idg.co.kr 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.