Offcanvas

비즈니스|경제 / 빅데이터 | 애널리틱스 / 애플리케이션

‘일신우일신’ 오픈소스와 빅 데이터

2012.06.01 Brian Bloom  |  Computerworld

빅 데이터용 오픈소스 플랫폼은 폭발적인 성장세를 보여왔다. 그러나 한편으로 지난 몇 달 간 시장이 보여준 변화는 많은 이들을 당혹스럽게 만들기도 했다.

우선 오픈소스 열풍을 불러 일으킨 요인들로는, 비용과 유연성, 그리고 훈련된 인력 확보의 용이성이 있다. 또한 하둡과 R, NoSQL은 비정형 데이터를 관리하고 복잡한 통계학적 분석을 진행하는 기업들에게 다양한 빅 데이터 전략을 지원하는 든든한 기둥이 되어 주고 있다.

시장의 진보 역시 계속되고 있다. SAP AG는 최근 자신들의 신제품 ‘SAP 비즈니스오브젝트 예측 애널리시스’(SAP BusinessObjects Predictive Analysis)를 공개했다. 이 소프트웨어는 학계에서 고급 통계적 모델링(statistical modelling) 작업에 사용되고 있는 오픈소스 R 언어(R language)로부터 알고리즘을 통합하는 과정을 지원한다.

그보다 몇 주 앞서 테라데이터는 R 기능성 포함과 자바 기반 오픈소스 위치부호 플랫폼 지오서버(GeoServer)에 연결을 특징으로 하는 새로운 통합 애널리틱스 포트폴리오(integrated analytics portfolio)를 발표한 바 있다. 이들 이외에도 수 많은 기업들이 하둡과의 연결 구축에 박차를 가하고 있다.

광범위한 적용, 열띤 개발
포레스터 리서치의 전 애널리스트 제임스 코베일러스(현재는 IBM의 빅 데이터 애널리틱스 솔루션 상품 마케팅 사업부의 선임 프로그램 디렉터)는 “오픈소스 방식의 도입과 개발은 속도를 더해가고 있다”라고 말했다.

그러나 서두를 필요는 없다. 그의 설명은 다음과 같다.

코베일러스는 우선 오픈소스 시장의 상황을 설명했다. 그는 모질라나 안드로이드와 같은 오픈소스 상품들이 초기 약간의 산통을 겪긴 했지만 이제는 IT 커뮤니티에 일반적으로 받아 들여지게 되었고, 오픈소스 데이터 스토리지나 애널리틱스 소프트웨어 시장 역시 충분히 성숙한 상태임을 강조했다.

그는 “1~2년 전만 해도 남아있던 위험 요소들은 이제 대부분 사라진 상황”이라고 표현했다.

다음으로 코베일러스는 하둡이나 R, NoSQL과 같은 플랫폼들이 빠르게 발전 중인 자신들의 전용 소프트웨어가 지닌 이점들을 적극 활용하고 있다는 사실을 언급했다. 또한 이들은 다양한 외부 집단들에 의해 개발, 개선되고 있기도 하다. 그는 머지않아 오픈소스가 빅 데이터 세계의 지배자가 될 것이라 예측했다.

그는 “데이터 애널리틱스 환경에서 클로즈드 소스(closed-source) 소프트웨어의 입지가 줄어드는 속도에 비례해 오픈소스 방식으로의 비즈니스 모델 이행은 가속화될 것이다. 또한 이와 같은 오픈소스 및 클라우드 지향 애널리틱스로의 이행을 지원하는 전문 서비스와 시스템 통합 역시 확대될 것이다. 그리고 이러한 지원은 대부분 하둡과 R에 그 초점이 맞춰질 것이다”라고 설명했다.

그는 또한 “예를 들어 포레스터는 하둡을 차세대 클라우드 기업 데이터 웨어하우스(EDW, Enterprise Data Warehouse)의 핵심으로, 그리고 R을 미래적 통합 빅 데이터 개발 툴의 핵심 코드베이스(codebse)로 평가하고 있다. 우리는 또한 다양한 오픈소스 NoSQL 데이터베이스와 툴이 클로즈드 소스 콘텐츠 애널리틱스 상품들에 훌륭한 대안으로 합쳐지게 될 것을 기대하고 있다”라 덧붙였다.

레드햇 모델
여러 기업들은 서로 다른 방식으로 오픈소스 통합에 접근하고 있다. SAP와 같은 일부 기업들은 하둡이나 R 함수를 활용해 제품 개발에 필요한 자신들의 내부 전문 기술을 확보하는 방식을 택한다.

반면 테라데이터와 같은 기업들은 레볼루션 애널리틱스(Revolution Analytics Inc.) 등의 기관에 작업을 위임하는 모습을 보여주기도 한다. 참고로 레볼루션 애널리틱스는 빅 데이터 영역에서 레드햇(Red Hat)과 많은 유사점을 보이고 있는 기업이다.

이들 기업은 레드햇이 리눅스를 통해 진행하는 지원 방식과 유사하게 기업들에 상업용 버전 R을 제공하고 있다.

레볼루션 애널리틱스의 마케팅 및 커뮤니티 사업부 부사장 데이빗 스미스는 자신들을 빅 데이터 거인들 틈에 서있는 작은 기업이라 소개하며, “우리는 각기 다른 비즈니스 프로세스들을 지원하는 방향으로 R을 변형하는데 자신 있다. 특히, 빅 데이터는 우리의 전문 분야다”라고 설명했다.

스미스는 “기업의 제품들에 오픈소스를 활용하는 것이 우리의 차별적 요인이다. 우리는, 경쟁자들이 이미 걸어간 길을 따라가지 않을 것”이라고 말했다.

스미스는 빅 데이터 분석과 오픈소스 테크놀로지에 대한 과학적인 접근이 기업의 발전을 위한 필수적 자질로 자리 잡고 있다고 설명했다.

그는 “데이터에 관심을 가지고 이를 탐험할 준비가 된, 다시 말해 데이터 과학의 문화가 자리 잡은 기업들이 오픈소스 테크놀로지로 몰리는 것은 당연한 결과다. 오픈소스가 지닌 유연성은 기업들이 데이터를 다루는 과정을 새로운 방식으로 생각할 수 있도록 해 줄 것이고, 또한 이를 활용해 새로운 작업들을 진행할 수 있도록 도움을 줄 것이기 때문이다”라고 강조했다.

레볼루션 애널리틱스와 파트너 관계를 맺고 있는 테라데이터 랩스(Teradata Labs)의 대표 스캇 나우는 오픈소스 테크놀로지의 상업 패키지로 가장 큰 도움을 받는 집단은 대기업들일 것이라고 전망했다. 그리고 이를 통해 대기업들은 비즈니스 라인에 보다 집중할 수 있게 될 것이라고 설명했다.

나우는 “하둡이나 맵리듀스(MapReduce) 환경에서 개발된 최신의 테크놀로지들을 적용하는 것은 기업에 많은 가치를 제공해줄 수 있다. 그러나 이와 같은 다수의 테크놀로지 군을 버전 관리(version control)나 확장성, 지원 가능성이 담보된 기업 수준의 소프트웨어로써 배치하기 위해서는 이들을 정렬하고 이것의 전반적인 신뢰 수준을 확인하는 노력이 필요할 것이다. 이와 관련해 진행하는 작업은 소프트웨어 개발 기업과의 계약이 아니다”라고 말했다.

EMC 그린플럼(EMC Greenplum)의 제품 마케팅 매니저 윌 데이비스 역시 이에 동의했다. 그는 대형 기업들이 채택하는 오픈소스 빅 데이터 플랫폼에는 보다 높은 안정성과 신뢰도가 확보되어야 하며, 이를 개별 기업의 필요에 맞게 조정하거나 여기에 다른 요소들을 추가하는 과정을 지원할 수 있어야 할 것이라고 말했다.

그는 “많은 기업들, 특히 EMC의 오랜 고객이었던 포천 500 대기업들은, 이러한 테크놀로지를 그들 기업에 배치하는 과정에서 이것이 서비스 수준 협약(SLA, Service Level Agreement)을 만족시키는지, 항시 사용 가능한지 확인하려 할 것”이라고 설명했다.

그는 오픈 테크놀로지를 초기에 채택한 일부 기업들은 자신들만의 독자적인 전문 기술을 개발한 상태이지만, 이후의 ‘후발' 기업들은 불안감에 떠밀려 경쟁에 참여하느라 스스로 앞으로 나아갈 내부 역량을 갖추지 못했다고 지적하기도 했다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.