Offcanvas

How To / 보안 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 애플리케이션 / 클라우드

사례 | ‘빅 데이터로 보안 역량 개선’ 지온스의 성공담

2013.01.30 Bill Brenner  |  CSO


하둡의 원리
아파치 하둡 사이트는 자신들의 테크놀로지를 ‘심플한 프로그래밍 모델을 활용해 컴퓨터 클러스터의 대규모 데이터 셋에 대한 분산 프로세싱을 지원하는 프레임워크'로 설명하고 있다. 이는 단일 서버를 독자적인 로컬 컴퓨테이션(local computation) 및 스토리지를 제공하는 수천의 머신으로 확장하도록 설계돼, ‘하드웨어의 유효성에 의존하는 대신 라이브러리가 자체적으로 애플리케이션 레이어에서의 정지를 포착하고 관리하도록 설계가 이뤄져 정지 가능성이 존재하는 컴퓨터 클러스터 상부에서 유효성 높은 서비스를 전달한다.’

하둡이 포함하는 모듈들은 다음과 같다.

- 하둡 커먼(Hadoop Common): 타 하둡 모듈들을 지원하는 공통 유틸리티
- 하둡 분산 파일 시스템(HDFS, Hadoop Distributed File System): 어플리케이션 데이터에 대한 높은 스루풋 액세스(throughput access)를 제공하는 분산 파일 시스템
- 하둡 YARN: 작업 스케줄링(job scheduling) 및 클러스터 자산 관리용 프레임워크
- 하둡 맵리듀스(Hadoop MapReduce): 대형 데이터 셋의 병렬 프로세싱용 YARN 기반 시스템

아파치가 포함하는 기타 하둡 관련 프로젝트들:

- 애브로(Avro): 데이터 직렬화 시스템
- 카산드라(Cassandra): 단일 장애 지점(single points of failure)을 가지지 않는 확장형 멀티 마스터 데이터베이스(multi-master database)
- 슈크와(Chukwa): 대형 분산 시스템 관리를 위한 데이터 수집 시스템
- H베이스(HBase): 대형 테이블(table) 용 정형 데이터 스토리지를 지원하는 확장, 분산형 데이터베이스
- 하이브(Hive): 데이터 요약 및 에드 혹 쿼링(ad hoc querying)을 제공하는 데이터 웨어하우스 인프라스트럭처
- 머하웃(Mahout): 확장형 기계 학습 및 데이터 마이닝(data-mining) 라이브러리
- 피그(Pig): 병렬 컴퓨테이션용 고급 데이터 플로우 언어 및 실행 프레임워크
- 주키퍼(ZooKeeper): 분산형 어플리케이션용 고성능 조정 서비스

CIO, CSO의 과제
하둡을 채택하기로 결정했다면, 이러한 툴과 관련한 호환 및 배치 문제를 비롯한 각종 취약성에 대한 인식 역시 필요할 것이다.

지온스 테크놀로지 운영 리스크 및 관리 팀의 디렉터 알렉스 허튼은 “지금까지 경험해왔던 통제, 리스크, 준수(GRC ; Governance, Risk and Compliance) 설치 과정에서와 같이 하둡 역시 제대로 활용되지 못한다면 기업들에 막대한 자금적 부담을 줄 위험이 있다”라고 말했다.

허튼은 무작정 뛰어드는 대신 철저한 사전 준비를 함으로써 이러한 위험을 없앨 수 있을 것이라 조언했다. 그는 “처리하려는 데이터의 로드맵을 세부적으로 검토해보고 하둡이 네트워크의 나머지 부분들에 어떤 영향을 미칠지 역시 신중하게 고민해보라. 명확한 분류 모델을 개발하고 그것을 이행하기 위한 강력한 지표를 설정하는 노력이 필요하다”라고 강조했다.

허튼은 “우리는 구조적이고 반복 가능한 방식으로 보안 사고를 설명하기 위한 공통 언어를 제공하는 사건 기록 및 사고 공유 어휘(VERIS, Vocabulary for Event Recording and Incident Sharing)와 커스텀 컨트롤(custom control)을 결합함으로써 문제를 해결했다”라고 지온스의 사례를 소개했다.

그는 이어 “커스텀 컨트롤과 VERIS는 우리의 지표 온톨로지(ontology for metrics)라 할 수 있다. 정보 리스크 인자 분석(FAIR, Factor Analysis of Information Risk)은 우리의 리스크 온톨로지이다. 이 온톨로지들은 특정 매트릭스 지원 및 구상적 카테고리를 설명하는 역할을 한다”라고 덧붙였다.

허튼은 이런 준비 없이는 빅 데이터를 보안 툴로 사용하는 과정이 성공으로 이어질 수 없을 것이라 조언했다.

그는 “지온스에서는 신규 웨어하우스 배치에 앞선 우드와 팀원들의 사전 노력을 통해 모든 과정이 순조롭게 마무리될 수 있었다. 이러한 숙제를 잘 마무리해 성공적으로 배치를 마무리할 수 있길 바란다”라고 말했다.

-> 빅 데이터의 화룡정점은 ‘빅 보안’
-> 빅 데이터 잠재력, 보안 문제에도 유효?
ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.