빅 데이터, 10가지 흔한 오해와 착각

미신 7: 빅 데이터는 곧 하둡(Hadoop)이다
유명한 비 구조적 데이터 용 오픈소스 데이터베이스인 하둡이 요즘 들어 엄청난 관심을 받고 있다. 하지만 하둡 말고도 다른 선택지도 있다.

“NoSQL도 요즘 새롭게 떠오르고 있다. 그 밖에도 몽고DB, 카산드라(Cassandra)등 다양한 기술이 존재한다”고 SAP 빅 데이터(SAP Big Data)의 상무이지 총 관리자인 어펀 칸은 말했다.

빅 데이터 프로젝트에 따라 이들 중 다른 기술보다 더 잘 맞는 기술이 있을 수도 있다. 특히 하둡은 데이터를 여러 덩어리로 나누어 여러 개의 데이터 덩어리에서 동시에 작업하는 방식인데 이런 접근 방식이 여러 가지 빅 데이터 문제를 해결해 주기는 하지만 만능은 아니다.

빅 데이터 컨설팅 업체 루시드 웍스(LucidWorks)의 CTO 그랜트 아인어솔은 “얀(YARN)과 하둡 2가 이런 문제를 어느 정도 해결하긴 하지만, 가끔은 하둡만으론 깔끔하게 해결이 안 되는 상황도 발생한다”라고 전했다.

미신 8: 최종사용자가 빅 데이터에 직접적으로 액세스 할 필요가 없다
다양한 종류의 소스로부터 빅 데이터의 도입이 빠른 속도로, 그리고 큰 규모로 이루어 지면서 빅 데이터는 일반 직원들이 다루기엔 너무 먼 존재로 느껴지는 것이 사실이다. 하지만 반드시 꼭 그런 것만은 아니다.

병원의 집중 치료실 기기에서 발생한 데이터를 예로 들어보자. 심장 박동수, 호흡, EKG 수치 등. 그러나 의사나 간호사는 환자의 병실에 있을 때 그 당시의 수치만 보고 상태를 판단하게 된다.

“10분 전 환자 상태가 어땠는지를 볼 수도 없고, 앞으로 1시간 후 환자 상태가 어떻게 바뀔지에 대한 짐작도 하기 어렵다”고 필립스 헬스케어의 의료 정보 및 환자 보호의 최고 마케팅 경영자 앤써니 존스는 말했다.

의료진들이 환자의 과거 기록들을 즉시 볼 수 있게 되면 의사 결정을 내릴 때에도 매우 유용할 수 있다. “핵심 데이터 과학에만 목 메는 사람들은 큰 기회를 놓치는 것”이라고 존스는 말했다.

오늘날 해결 과제는 서로 다른 플랫폼과 운영 체제, 프로그래밍 언어를 사용하는 기기들이 서로 의사소통을 할 수 있도록 하는 것이다. 그것이 가능해 지면 의사나 간호사들이 필요할 때 바로 바로 지난 데이터를 활용할 수 있도록 만들어야 한다.

미신 9: 빅 데이터는 큰 문제를 위한 것이다
버스트 CEO 피터스에 따르면, 최근 최종사용자의 셀프 서비스에 대한 질문을 받은 한 대형 은행의 CIO는 이 문제에 대해 “그리 유용하게 생각하지 않는다”라고 말했다.

이런 태도를 가진 사람은 생각보다 흔하다. 특히 일부 경영진들의 경우 빅 데이터가 활용되는 곳은 따로 정해져 있다고 생각하기도 한다고 피터스는 설명했다. 즉 이들의 태도를 요약해 보면 다음과 같다.

“빅 데이터는 데이터 과학자들이 소수의, 고가치 문제 해결을 위해 사용하는 것이다. 우리는 보통 사람들도 정보에 액세스가 가능해지면서 데이터 카오스가 발생하는 것을 원하지 않는다. 이들에게 빅 데이터는 필요하지 않다.”

그러나 피터스는 이런 의견에 동의하지 않았다고 강조했다. 그는 “거대 보험회사들 사이에서는 현업 최종사용자들이 빅 데이터를 이용할 만큼 똑똑하지 않다는 생각이 만연해 있다”라고 말했다.

미신 10. 빅 데이터 거품, 언젠가는 꺼질 것이다
물론 유행은 오고 가는 것이지만, 혁신적인 기술은 유행과 상관 없이 주류로 자리잡는다. 한참 불던 ‘닷컴’열풍이 인터넷의 종말을 가져오지 않았듯 말이다.

빅 데이터 유행이 지나간 이후에도 기업들은 빅 데이터를 필요로 할 것이다. 오히려 기하급수적 성장으로 인해 이전보다 훨씬 더 많이 필요로 할 지도 모른다. IDC는 2020년까지 2년마다 수집되는 데이터 양이 2배씩 증가할 것이라는 예측을 내놓기도 했다.

게다가 단순히 현재 수집중인 것들을 더 많이 수집하는 것에서 그치지 않는다. 새로운 종류의 데이터가 나타나면서 더 거대한 데이터 저장 용량을 필요로 할 것이다.

필립스 헬스케어의 의료 정보 및 환자 보호(Patient Care & Clinical Informatics) 최고 마케팅 경영자 앤써니 존스는 “병원 측에서 모든 입원 환자의 유전자 지도를 그릴 수 있는 세상이 오게 될 것이다. 이를 통해 각 환자에게 맞게 커스터마이징 된 진료를 받을 수 있다. 게다가 빅 데이터는 정말 거대한 분량의 데이터다. 그런데 많은 CIO들이 이를 잘 인지하지 못하고 있는 것 같다”라고 말했다.

‘빅 데이터’를 단순히 하나의 유행하는 용어로 생각하는 기업들은 앞으로 자신들의 기업에 큰 영향을 미칠 수 있는 데이터 요소를 눈뜨고 놓쳐버릴 수도 있다고 필라델피아의 킹 오브 프러시아(King of Prussia) 인터랙티브 마케팅 에이전시인 캐디언트 그룹(Cadient Group)의 CTO 브라이언 힐은 지적했다.

그는 “‘빅 데이터’라는 용어 자체는 변할 수도 있다. 웹이나 인터넷과 별 차이가 없는 클라우드 컴퓨팅이라는 용어가 생겨났던 것처럼 말이다. 그러나 용어는 변할지언정 빅 데이터의 개념은 주류 기술로서 오래도록 지속될 것이다”라고 말했다. ciokr@idg.co.kr