2014.01.29

빅 데이터, 10가지 흔한 오해와 착각

Maria Korolov | Network World
오늘날 테크놀로지 시장의 주인공은 단연 빅 데이터다. 빅 데이터는 침입 감지에서 사기 예측, 나아가 항암치료 등의 다양한 활동들에 적용 가능한 솔루션으로 동작하면서 시장의 환호를 자아내고 있다. 가격적 측면에서도 거품이 걷혀가는 모습을 보여주고 있다.

하지만 (다양한 형태의 대량의 데이터를 고속으로 수집한다는 설명으로 정의가 가능할) 빅 데이터는, 모든 문제에 대한 만병통치약이 아니다. 빅 데이터를 둘러싼 이런저런 미신들은 시장 곳곳을 떠돌고 있다. 이러한 미신을 순진하게 믿어버린다면, 기업은 나아갈 방향성을 잃거나 시간과 돈을 낭비할 것이다. 또는 시장 경쟁력을 상실하고 기업 평판에 타격을 입을 위험이 있다. 여기 빅 데이터를 둘러싼 대표적인 미신들을 살펴본다.

미신 1: 데이터 과학자만이 빅 데이터를 다룰 수 있다.
미신 2: 데이터가 클수록 가치도 커진다
미신 3: 빅 데이터는 대기업을 위한 것이다
미신 4: 일단 수집하고, 분류는 다음에 하라
미신 5: 모든 데이터는 동등하다
미신 6. 예측은 구체적일수록 더 좋다
미신 7: 빅 데이터는 곧 하둡(Hadoop)이다
미신 8: 최종사용자은 빅 데이터에 직접적으로 액세스할 필요가 없다
미신 9: 빅 데이터는 큰 문제를 위한 것이다
미신 10. 빅 데이터 거품, 언젠가는 꺼질 것이다


미신 1: 데이터 과학자만이 빅 데이터를 다룰 수 있다
데이터 과학자는 빅 데이터로 모든 것을 가능케 하는 마법사가 아니다.
펜 메디신(Penn Medicine)의 데이터 애널리틱스 사업부 선임 디렉터 패트 패럴은 “기업이 우선적으로 필요로 하는 정보가 무엇인지도 모르는 상황에서 데이터 과학자에게 빅 데이터로부터 정보를 발굴해낼 것을 기대하는 것은 앞뒤가 맞지 않는 일이다. 올바른 빅 데이터 활용을 위해서는 업종에 익숙하고, 전문 지식 역시 갖추고 있으며, 그 곳에 존재하는 문제와 이를 해결하는데 필요한 시각을 갖춘 전문가가 필요하다”라고 말했다.

예를 들어, 의료 시스템과 의과 대학을 모두 갖추고 있는 펜 메디신의 경우에는 오래 전부터 데이터 의료 시스템을 통한 데이터 웨어하우스 임상 데이터 수집 활동을 진행해왔다. 그리고 의과 대학 내에서는 새로운 기술을 통해 인간 게놈 시퀀싱 과정을 진행하고 있다. 게놈 시퀀싱 활동에는 지금까지 시스템을 통해 수집된 막대한 데이터가 활용된다.

패럴은 “(그것을 발굴하지 못했던 과거에도) 우리는 데이터가 귀중한 자산임을 이해하고 있었다. 그리고 드디어 컴퓨팅의 힘을 이용해 여기에 접근할 수 있게 되었다. 데이터 애널리틱스와 의약 산업에 대한 전문 지식이 합쳐져 예측적 의료의 새로운 장이 열린 것이다”라고 말했다.

미신 2: 데이터가 클수록 가치도 커진다
데이터를 수집하고 저장하고 목록화하는 과정에는 상당한 시간과 자원이 소요된다. 때문에 무비판적으로 그저 대량의 데이터를 수집하기만 하는 태도는 프로젝트의 효율성을 크게 떨어뜨린다고 패럴은 말한다.

이러한 이유로 패럴은 데이터 수집 작업을 진행하기에 앞서 그들이 필요로 하는 핵심 성과 지표가 무엇인지에 관한 아이디어를 명확히 할 필요가 있다고 조언했다.

그는 “이 들판 어딘가엔 분명 귀중한 지혜의 보물이 묻혀있다고 해서 들판 전체를 파헤치는 것은 어리석은 일이다. 당신에게 필요한 핵심은 삽을 꽂을 정확한 지점을 이해하는 것이다”라고 말했다.

미신 3: 빅 데이터는 대기업을 위한 것이다
대기업들이 보다 많은 내부 데이터 소스를 갖춘 것은 사실이다. 하지만 소셜 미디어 플랫폼, 정부 기관, 데이터 벤더 등 소형 기업들에게도 역시 데이터를 수집할 통로는 다양하게 열려있다.

델 소프트웨어(Dell Software) 인포메이션 매니지먼트 솔루션즈(Information Management Solutions)의 상품 관리 부문 행정 디렉터 데린 바틱은 “의사 결정은 언제나 직감이 아닌 데이터에 기초해 이뤄지는 것이 옳다. 이는 기업의 규모와는 무관한 명제다”라고 강조했다.

또 데이터 주도 의사 결정의 빈도에 관련해서는 기업의 규모가 클수록 유리한 부분이 있는 것이 사실이지만, 결정 사항을 수정하는 것과 같은 경우에는 오히려 작은 규모의 기업에서 더욱 신속하게 진행될 수 있다고 그는 덧붙였다.

바틱은 “소형 기업들은 자신만의 베스트 프래틱스를 이용해 보다 데이터 주도적인 문화를 구축함으로써 덩치는 크지만 굼뜬 경쟁자들을 앞지를 수 있다”라고 말했다.
 




2014.01.29

빅 데이터, 10가지 흔한 오해와 착각

Maria Korolov | Network World
오늘날 테크놀로지 시장의 주인공은 단연 빅 데이터다. 빅 데이터는 침입 감지에서 사기 예측, 나아가 항암치료 등의 다양한 활동들에 적용 가능한 솔루션으로 동작하면서 시장의 환호를 자아내고 있다. 가격적 측면에서도 거품이 걷혀가는 모습을 보여주고 있다.

하지만 (다양한 형태의 대량의 데이터를 고속으로 수집한다는 설명으로 정의가 가능할) 빅 데이터는, 모든 문제에 대한 만병통치약이 아니다. 빅 데이터를 둘러싼 이런저런 미신들은 시장 곳곳을 떠돌고 있다. 이러한 미신을 순진하게 믿어버린다면, 기업은 나아갈 방향성을 잃거나 시간과 돈을 낭비할 것이다. 또는 시장 경쟁력을 상실하고 기업 평판에 타격을 입을 위험이 있다. 여기 빅 데이터를 둘러싼 대표적인 미신들을 살펴본다.

미신 1: 데이터 과학자만이 빅 데이터를 다룰 수 있다.
미신 2: 데이터가 클수록 가치도 커진다
미신 3: 빅 데이터는 대기업을 위한 것이다
미신 4: 일단 수집하고, 분류는 다음에 하라
미신 5: 모든 데이터는 동등하다
미신 6. 예측은 구체적일수록 더 좋다
미신 7: 빅 데이터는 곧 하둡(Hadoop)이다
미신 8: 최종사용자은 빅 데이터에 직접적으로 액세스할 필요가 없다
미신 9: 빅 데이터는 큰 문제를 위한 것이다
미신 10. 빅 데이터 거품, 언젠가는 꺼질 것이다


미신 1: 데이터 과학자만이 빅 데이터를 다룰 수 있다
데이터 과학자는 빅 데이터로 모든 것을 가능케 하는 마법사가 아니다.
펜 메디신(Penn Medicine)의 데이터 애널리틱스 사업부 선임 디렉터 패트 패럴은 “기업이 우선적으로 필요로 하는 정보가 무엇인지도 모르는 상황에서 데이터 과학자에게 빅 데이터로부터 정보를 발굴해낼 것을 기대하는 것은 앞뒤가 맞지 않는 일이다. 올바른 빅 데이터 활용을 위해서는 업종에 익숙하고, 전문 지식 역시 갖추고 있으며, 그 곳에 존재하는 문제와 이를 해결하는데 필요한 시각을 갖춘 전문가가 필요하다”라고 말했다.

예를 들어, 의료 시스템과 의과 대학을 모두 갖추고 있는 펜 메디신의 경우에는 오래 전부터 데이터 의료 시스템을 통한 데이터 웨어하우스 임상 데이터 수집 활동을 진행해왔다. 그리고 의과 대학 내에서는 새로운 기술을 통해 인간 게놈 시퀀싱 과정을 진행하고 있다. 게놈 시퀀싱 활동에는 지금까지 시스템을 통해 수집된 막대한 데이터가 활용된다.

패럴은 “(그것을 발굴하지 못했던 과거에도) 우리는 데이터가 귀중한 자산임을 이해하고 있었다. 그리고 드디어 컴퓨팅의 힘을 이용해 여기에 접근할 수 있게 되었다. 데이터 애널리틱스와 의약 산업에 대한 전문 지식이 합쳐져 예측적 의료의 새로운 장이 열린 것이다”라고 말했다.

미신 2: 데이터가 클수록 가치도 커진다
데이터를 수집하고 저장하고 목록화하는 과정에는 상당한 시간과 자원이 소요된다. 때문에 무비판적으로 그저 대량의 데이터를 수집하기만 하는 태도는 프로젝트의 효율성을 크게 떨어뜨린다고 패럴은 말한다.

이러한 이유로 패럴은 데이터 수집 작업을 진행하기에 앞서 그들이 필요로 하는 핵심 성과 지표가 무엇인지에 관한 아이디어를 명확히 할 필요가 있다고 조언했다.

그는 “이 들판 어딘가엔 분명 귀중한 지혜의 보물이 묻혀있다고 해서 들판 전체를 파헤치는 것은 어리석은 일이다. 당신에게 필요한 핵심은 삽을 꽂을 정확한 지점을 이해하는 것이다”라고 말했다.

미신 3: 빅 데이터는 대기업을 위한 것이다
대기업들이 보다 많은 내부 데이터 소스를 갖춘 것은 사실이다. 하지만 소셜 미디어 플랫폼, 정부 기관, 데이터 벤더 등 소형 기업들에게도 역시 데이터를 수집할 통로는 다양하게 열려있다.

델 소프트웨어(Dell Software) 인포메이션 매니지먼트 솔루션즈(Information Management Solutions)의 상품 관리 부문 행정 디렉터 데린 바틱은 “의사 결정은 언제나 직감이 아닌 데이터에 기초해 이뤄지는 것이 옳다. 이는 기업의 규모와는 무관한 명제다”라고 강조했다.

또 데이터 주도 의사 결정의 빈도에 관련해서는 기업의 규모가 클수록 유리한 부분이 있는 것이 사실이지만, 결정 사항을 수정하는 것과 같은 경우에는 오히려 작은 규모의 기업에서 더욱 신속하게 진행될 수 있다고 그는 덧붙였다.

바틱은 “소형 기업들은 자신만의 베스트 프래틱스를 이용해 보다 데이터 주도적인 문화를 구축함으로써 덩치는 크지만 굼뜬 경쟁자들을 앞지를 수 있다”라고 말했다.
 


X