“하둡보다 25% 빠르다” 렉시스넥시스, 개발자 유인 주력

렉시스넥시스(LexisNexis) 측은 벤치마크 테스트 결과 자사의 HPCC 시스템이 사양이 낮은 하드웨어에서 하둡보다 더 빠른 속도를 기록했다고 밝혔다.

지난 10년 이상 빅 데이터 처리를 위한 대형 시스템 개발에 연구해온 렉시스넥시스는, 널리 알려져 있는 하둡 기술보다 더 발전되고 성숙된 무언가를 만들어 냈다고 자신하는 기업이다. 이 기업은 이제 개발자들이 이에 동의하는 일만 남았다고 보고 있다.

렉시스넥시스는 내부의 데이터 중심적인 연구 사업의 수요를 처리하기 위해서 병렬 처리 데이터 플랫폼을 개발했다. 그리고 이제는 HIPCC 시스템즈라 불리는 이 기술을 더욱 광범위한 시장으로 확대하기를 원하고 있다. 그러나 이를 위해서는 이미 탄탄한 기반을 확립하고 있는 오픈소스 하둡에 도전해야만 한다.

렉시스넥시스는 HPCC 플랫폼의 소스를 공개하는 한편 벤치마크 테스트를 통해 하둡에 도전하고 있다고 전했다.

이 회사에 따르면 현재 전 세계적으로 1,000명의 HPCC 시스템즈 개발자가 활동하고 있다. 이들 중 대부분은 소스가 공개된 6월 이후부터 교육을 받고 있는 개발자들이다. 참고로 지난 여름 진행된 하둡 개발자 컨퍼런스에는 약 1,700명의 개발자가 참여한 바 있다.

회사는 지난 10월 성능을 입증하기 위해서 테라소트(Terasort) 벤치마크를 이용해 HPCC를 하둡 클러스터에서의 SGI에 의한 유사한 벤치마크와 작업 부하와 비교한 결과, 자사 제품의 벤치마크 결과가 25%나 빨랐으며 훨씬 성능이 떨어지는 하드웨어에서 구동한 것이라고 밝혔다. SGI 시스템에서 4-노드 클러스터 vs. 20-노드 클러스터였다는 것이다. 렉시스넥시스 테스트는 6개의 인텔 제온 프로세서가 탑재된 2소켓 서버인 델 파워엣지(Dell Poweredge)에서 진행되었다.

렉시스넥시스 리스크 솔루션스(LexisNexis Risk Solutions)의 인프라(Infrastructure) 및 제품 담당 부사장 플라비오 빌라누스터는 테스트 결과와 관련, 하둡과 비교해 분류에 요구되는 코드의 줄 수에 관해 강조했다.

렉시스넥시스는 이 시스템을 위해 자체적인 언어인 ECL을 개발했는데, 분류를 위해 하둡에서 사용되는 자바(Java)에서는 100줄 이상이 필요했던 반면에 ECL 코드는 3줄로 충분했다고 그는 말했다.

HPCC 벤치마크에 대한 의견 요청에 SGI의 제품 마케팅 담당 부사장 빌 매널은 성명을 통해 "테라소트를 구동할 수 있는 변형된 다양한 분산 처리가 있다. HPCC 시스템즈는 ECL 코드 상에서 테라소트를 구동하며 이것은 맵리듀스(MapReduce) 기반의 하둡에서 구동하는 SGI와는 다른 것이다. SGI는 성능에 대한 기준을 높이고 자체적인 기록을 갱신하고 향상하는데 초점을 두고 있다"라고 전했다.

렉시스넥시스의 빌라누스터는 HPCC가 시장에서 하둡에 대항해 선전할 것이지만 장담은 어려운 것은 사실이라고 토로했다. 그는 VHS와의 비디오 포맷 전쟁에서 패배한 베타맥스나 마이크로소프트 윈도우에 패배한 IBM의 OS/2 운영체제처럼 되지 않기를 희망한다면서, "우리는 우리 제품이 더욱 확산되기를 원하며 이것이 우리가 이 제품을 개발하는 이유다"라고 말했다.

렉시스넥시스의 행보에는 아마존 웹 서비스(Amazon Web Services)를 통해 클라우드에서 HPCC 시스템을 이용할 수 있도록 한 것도 있다. 이 플랫폼은 1개의 커뮤니티 에디션과 1개의 상용 기업 플랫폼을 허용하는 듀얼 라이선스 전략을 통해 이용할 수 있다.

더 451 그룹(The 451 Group)의 매트 애슬럿은 "아파치 하둡을 중심으로 형성되어 성장하고 있는 대규모의 개발자 및 벤더 생태계를 볼 때" 렉시스넥시스가 더욱 공격적인 자세를 취해야 할 필요성이 있다고 평가했다.

애슬럿은 특히 듀얼 라이선스 전략을 통해 포킹(Forking)으로부터 코드를 보호하고 확산을 통해 매출을 발생시킬 수 있겠지만 "듀얼 라이센스 전략은 전통적으로 개발자 커뮤니티 형성에 있어서 큰 성공을 거두지 못했다"라고 지적했다.

애슬럿은 "좀 더 관대한 라이선스 전략으로 소프트웨어를 공개하거나 확립된 오픈 소스 기관에 기여하는 것이 개발자 유치에 더욱 효과적일 것"이라고 언급했다.

오픈 소스 지지자이자 렉시스넥시스의 전략 컨설턴트인 브루스 페런스는 HPCC 서비스 플랫폼을 위해 더 커버넌트(The Covenant)라 불리는 라이선스 접근 방식을 개발한 인물이다. 그는 듀얼 라이센스 전략이 다소 혼란스러운 역사를 갖고 있다는 사실에 동의하지만 HPCC 라이선스 접근 방식은 그 문제를 해결하기 위해서 설계되었다고 말했다.

페런스는 해당 코드의 현 버전은 항상 공개되어 있을 것이며 오픈 소스 라이선스를 철회하는 것은 불가능하다고 말했다. 그는 "HPCC가 유지되기를 바라는 시점에 HPCC에 코드를 할당하면 된다"라고 설명했다.

개발자가 코드를 추가하고 해당 기업에 저작권을 부여할 때마다 커버넌트에 따라 각 기여자에게 해당 HPCC 코드가 3년간 오픈소스로 유지되도록 보장해 준다는 것이다.

페런스는 또 3년의 기간을 제공하는 것은 "개발자들이 자신이 기여한 부분이 어디에 사용되는지 확신할 수 있도록 하기 위한 것이지 프로젝트의 발목을 잡기 위한 것이 아니다"라고 밝혔다.

그는 "HPCC는 듀얼 라이선스가 적합하지 않을 경우 언제든지 제약이 덜한 라이선스를 선택할 수 있는 옵션을 제공한다. 물론 그런 상황이 발생할 가능성은 굉장히 낮다"라고 말했다.

그는 이어 누구든 선물을 받는 것을 좋아하지만 "코드를 작성하는 당사자 입장에서" 경쟁자에게 문자열이 포함되지 않은 선물을 제공하는 것이 항상 공평하게 느껴지는 것은 아니라고 전했다.

페런스는 듀얼 라이선스 전략이 오픈 소스에 있어서 일종의 경제성을 창출한다고 주장하며 "계약은 듀얼 라이선스의 커뮤니티 측면을 보완한다"라고 말했다. ciokr@idg.co.kr