‘일신우일신’ 오픈소스와 빅 데이터

데이터 과학자의 유입
최근 빅 데이터와 관련한 인력에 대한 수요는 급격히 증가하고 있다. 그리고 오픈소스 플랫폼을 운영하고 있는 기업들에게, 지금은 숙련된 인재들을 끌어들일 절호의 기회다. 오픈소스 테크놀로지, 특히 R은, 학계에서 널리 활용되고 있기 때문이다.

데이터 과학자(data scientist)들은 오픈소스 플랫폼 기반 작업에서 보다 뛰어난 업무 능력을 보여줄 수 있다.

데이터 과학자 임란 아흐메드는 하둡에 대항하여 자신만의 독자적인 그리드 컴퓨팅(grid computing) 알고리즘 빌렉(Bileg)을 개발한 인물이다. 그는 오픈소스 글로버스 툴킷(Globus toolkit (GT4))에 기반하여 이 작업을 진행했다.

클라우드 환경 용 데이터 분석 테크놀로지 개발 기업 클라우다늠(Cloudanum Inc.)의 대표인 그는 오픈소스 플랫폼의 기본적인 장점을 자신과 같은 이들에게 플랫폼의 근간에 깔린 수리적 기반을 보여주는 것이라 설명했다.

아흐메드는 “오픈소스 환경에서는, 어떻게 내가 이러한 결과물을 얻을 수 있었으며, 왜 이것이 최적의 결과물인지 연구해보는 것이 가능하다”라고 말했다.

그는 자체 데이터 애널리틱스 소프트웨어가 대부분의 경우에 있어 뛰어난 기능성을 담보해줄 것이라고 덧붙였다. 그러나 때로는 도출된 결과물을 믿을 수 없게 되는 ‘특이한 상황'이 발생하기도 한다면서 그는, “어느 순간 당신의 시야가 완전히 가려지는 상황이 발생할 것이다. 이는 정말 당혹스러운 순간이다”라고 말했다.

한편 스미스는 “데이터 과학이나 연구 개발(R&D), 모델링 전공자들은 졸업과 동시에 기업들로 불려가고 있다. 이들은 또한 SAS가 아닌 R에 익숙한 인재들이기도 하다”라고 말했다.

이들뿐만 아니라, 통계적 모델링과 관련한 재능을 지닌 인재들에 대한 수요 역시 높은 증가 추세를 보여주고 있다. 특히 금융 기관과 같은 여타 부문에서의 수요 증가는 이러한 경향을 가속화 시키는 요인으로 작용하고 있다.

데이비스는 “우리는 그린플럼에 컨설팅을 제공해주고 있다. 이 업무를 지원하는 우리의 데이터 과학 팀은 다양한 산업 분야에 대한 전문 지식을 갖춘 박사진들로 구성되어있다. 좀 더 직접적으로 말하자면, 우리에겐, 고객의 데이터를 100% 활용할 수 있는 천재들이 있다”라고 말했다.

SAP의 그룹 마케팅 매니저 제이슨 쿼는 예측 애널리틱스과 같은 복잡한 작업을 진행하는 기업들이 대학 인력을 찾아 다니는 것은 ‘당연한 결과'라고 말했다. 그는 사용자 친화적 인터페이스와 드래그 앤 드롭(drag-and-drop) 기능을 포함하는 SAP의 신제품을 예로 들며, 이와 같은 작업을 진행하며 데이터 과학자들의 기업 세계로의 이행은 한결 수월해질 것이라고 설명했다.

그는 “그들은 기업에 R 전문 지식과 R 배경을 가져왔고, 이제는 기업에 R 관련 툴을 요구하고 있다. 흥미로운 사실은, 학계에서는 예산이나 익숙함, 그 어떤 이유에서 건, 그래피컬 인터페이스(graphical interface)나 그래피컬 유저 인터페이스(GUI, Graphical User Interface)가 아닌 R 만으로 작업을 진행하는 경향을 보인다. 그리고 이러한 환경에서 훈련을 거친 인재들이 기업 세계로 나오게 되면, 그들은 빠르게 전환되는 프로젝트 프레임(project frame)과 철저하게 추적되는 투자 수익률(ROI, Return on Investment)을 경험하게 될 것이다. 기업은 이들에게 물어올 것이다. 작업 성공을 위해 필요한 것은 없는가? 어떻게 하면 당신의 효율적인 업무를 지원할 수 있을까? 기업들은, 전에 없던 예산을 마련하고 이들 통계학자들을 맞이하고 있다”라고 말했다.

피할 수 없다면 부딪혀라
SAS 인스티튜트(SAS Institute Inc.)에서 플랫폼 개발 사업부 부회장 직을 맡고 있는 폴 켄트는 R과 같은 오픈소스 언어에서 사용되는 알고리즘을 대체할 전용 데이터 분석 알고리즘을 개발하는 등의 기업 활동들이 때로는 빅 데이터와 분리된 작업으로 보여지기도 한다고 말했다.

켄트는 또 SAS가 어떠한 측면에서는 오픈소스 커뮤니티를 따라잡아야 할 경쟁자로 인식하고 있다고 강조했다. 그에 따르면 오픈소스 환경에서 새로운 기술이 개발되는 속도는 그의 기업이 이를 시장성 있는 상품 기능으로 바꾸기에 앞서 이를 연구하는데 소요되는 시간을 앞서나가고 있다.

켄트는 “새로운 기술에서 뽑아낼 수 있는 모든 실용적 측면들을 실험해보는 것은 단기간에 이뤄지는 작업이 아니다. 따라서 우리의 반응은 약간은 늦춰질 수 밖에 없다”라고 말했다.

그는 “그러나 우리에겐 기술 지원 부문이 갖춰져 있다. 이를 통해 우리는 특정 기술을 소매 비즈니스나 은행, 의료 기관 등 각기 다른 영역들에 적용할 수 있다. SAS의 강점은 ‘특정 영역에 적용 가능한 수학적 애플리케이션'에 있다”라고 덧붙였다.

동시에 SAS는 트렌드에 발을 맞춰 고객들에게 오픈소스에 대한 선택권 역시 제공하고 있다. 켄트는 SAS가 하둡에와 마찬가지로, ‘R 과의 교량 연결' 역시 진행한 상태라고 설명했다. 그에 따르면, SAS는 오픈소스 커뮤니티가 내놓은 멋진 아이디어들에 언제나 주목하고 있다.

마지막으로 켄트는 “새로운 아이디어를 접해보고 이와 관계를 맺어보는 것은 이를 무시하는 것보다 언제나 효율적인 선택이다”라고 강조했다. ciokr@idg.co.kr