Offcanvas

BI / How To / 데이터센터 / 리더십|조직관리 / 빅데이터 | 애널리틱스 / 애플리케이션

빅 데이터 구축과 활용 ‘사례 속의 교훈들’

2012.04.20 Elana Varon   |  Computerworld

에픽 미디어의 경우에도 분리돼 있다. 버티카와 마이크로스트레티지 플랫폼은 광고를 제공할 뿐이며, 고객 데이터를 수집하는 기업의 트랜잭션 시스템과 독립적으로 운영되고 있다. 오킨은 그들 기업이 현재 진행 중인 작업은 새로운 데이터를 매 시간 버티카 시스템에 저장하는 것이라 설명했다. 그리고 이렇게 수집된 데이터는 수 분 내에 분석 과정을 거치게 된다는 것이다.

그는 “트랜잭션 시스템이 과도한 양의 쿼리(query)를 실행하며 부정적 영향을 받길 원치 않는다. 그리고 여기에는 애널리틱스 시스템에서와 같이 많은 양의 데이터가 축적되지도 않아야 할 것이다”라고 덧붙였다. 트랜잭션 시스템은 고속 데이터 프로세싱(data processing)에 최적화 되어있으며, 애널리틱스 시스템은 쿼리를 다루는데 목적을 두고 있기 때문이다.

이와 유사하게, 미 퇴역 군인국(VA, U.S. Department of Veterans Affairs) 또한 지난 2년 간 빅 데이터 분석을 위해 25개의 데이터 웨어하우스를 배치한 바 있다. 이들 기관은 2,200만의 퇴역 군인들에게 의료 서비스를 지원하고 있다.

기관의 CIO 로저 베이커는 퇴역 군인들의 전자 의료 기록(EHR, Electronic Health Records) 데이터를 분석하는 것이 진료 현장의 임상의들이 EHR 시스템(비스타라 이름 붙여진)을 사용하는 과정에는 일시적으로 약간의 불편을 초래할 수 있다고 전했다. 그러나 장기적으로는 이를 통해 개별 환자의 기록을 그의 과거 기록들이나 다른 환자의 그것과 비교하는 작업을 훨씬 수월해질 것이라고 덧붙였다.

베이커는 “우리는 20~30년 간 질병의 증상과 치료법, 그리고 결과에 관하여 축적된 귀중한 정보들을 보유하고 있다”라고 말했다.

퇴역 군인국은 또한 퇴역 군인들의 의료 기록을 보완하기 위한 목적으로 그들의 DNA 샘플을 수집하는 프로그램을 새로이 시행하기도 했다. 이렇게 수집된 수 페타바이트의 임상적, 유전적 데이터는 보다 효과적인 의료 지원을 가능케 할 것으로 기대하고 있다.

베이커는 비스타가 ‘처리 속도에 중점을 둔 계층적 데이터베이스'를 포함한다고 소개하며, “결과적으로 의사와 환자 간의 상호작용은 매우 빠른 속도로 이뤄질 수 있을 것이다”라고 강조했다.

반면 애널리틱스 데이터베이스는 임상적 주제(약학 정보, 혈액 학 데이터 등)를 기준으로 분류된다. 베이커는 “우리는 뛰어난 컴퓨팅 파워와 (필요한 데이터가 무엇인지 쉽게 파악할 수 있는) 직관성을 확보해 연구자들에게 유용한 정보를 제공하길 원한다”라고 말했다.

이들 기관은 내년에는 슈퍼컴퓨터(supercomputer)의 지원을 통해 훨씬 더 많은 데이터를 보다 빠른 속도로 처리할 계획을 수립하고 있다. 그리고 이를 통해 연구자들의 정보 활용은 보다 편리해질 전망이다. 베이커는 “우리가 제공하는 정보에의 접근성이 강화될수록, 그 정보가 지니는 가치는 올라간다”라고 설명했다.
 
그러나 분석할 데이터가 많은 기업이라고 무조건 슈퍼컴퓨터에 투자해야 할 필요는 없다. 투자 여부는 사용자들이 자신들의 요청에 대하여 얼마나 빠른 수준의 결과 도출을 필요로 하는 지에 기초해 결정하면 된다. 기존 서버의 대형 데이터 셋으로부터 해답을 얻어내는데 며칠이 소요된다면, 그때는 투자를 고민해 볼 필요가 있는 것이다.

실제로 보스턴 어린이 병원의 정보처리 디렉터이자 하버드 의과 대학의 교수인 아이작 코헨은, 모든 이들이 매번 빠른 해답을 원하는 것은 아니라 전했다. 그는 하버드와 이곳의 연계 병원들 간의 산한 협력 프로젝트를 이끌며 연구 및 임상 데이터를 고속으로 처리할 수 있도록 지원하는 데크놀로지 개발을 진행 중이다.

그는 대부분의 사용자들이 처리에 ‘수 일, 혹은 수 주'가 소요되는 요청들을 전해오지는 않는다면서, 물론 때로는 이러한 요청들이 발생하기도 하지만 그것들이 프로세싱 파워 증대에 투자를 진행하는 것을 정당화할 정도의 수준은 아니라고 설명했다.
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.