빅데이터 새 동향 '정성적 데이터의 가치에 주목하라'

요즘 엔터프라이즈 분야 IT 전문가들이 전하는 조언을 듣고 있노라면 빅데이터는 못하는 게 없는 조물주처럼 보이곤 한다. 하지만 그 조언들 속에는 일련의 불편함이 있는 것도 사실이다. 빅데이터를 칭찬하는 그들의 설명에 근거를 제시하는 논증 대신, 실체 없는 ‘약속’만을 전하는 경우를 종종 목격하기 때문일 것이다.

우리는 빅데이터를 흔히 ‘호수’에 비유하곤 한다. 전사적 자원 관리(ERP)나 고객 관계 관리(CRM) 등의 비즈니스 시스템을 통해 수집된 데이터 규모의 막대함 때문이다. 그러나 IDC는 오늘날의 애널리틱스 툴들을 통해 발굴 가능한 데이터의 규모가, 기업들이 일반적으로 획득 가능한 데이터의 10% 수준에 불과하다고 설명하고 있다.

그 이외의 데이터는 모두 지저분한 ‘비정형’, ‘정성적’ 데이터로써 존재한다. 고객 설문 정보, 응답 양식, 온라인 포럼, 소셜 미디어, 문서, 영상, 뉴스 기사, 콜센터 통화, 판매 사례집 등이 이러한 데이터 유형에 속한다. 이들은 문맥에 대한 고려 없는 수치적, 정량적 분석 도구로는 제대로 해석할 수 없다는 특성을 지닌다.

바로 이 부분에서 문제가 발생한다. 기업들에 보다 필요한 것은 이러한 비정형 데이터가 전달하는 맥락과 의미지만, 대다수의 상용 애널리틱스 툴들은 정성적 정보들에 대한 수치적 분석을 주요 기능으로 제공하는 것이다.

포레스터 리서치의 애널리스트 안잘리 라이는 “많은 경우에 있어 데이터는 우리에게 해답이 아닌 또 다른 물음을 던져주곤 한다. 우리에게 필요한 것은 정량적 데이터 경향 이면에 존재하는 바로 이 ‘왜?’라는 의문이다. 주변의 환경을 고려치 않은 데이터는 절대 완벽한 이야기를 만들어낼 수 없다. 맥락을 이해하기 위해, 정성적 데이터에 대한 분석은 필수다”라고 설명했다.

예를 들어 어떤 기업의 온라인 판매 수치가 지속적으로 목표치에 미달하는 상황을 상상해보자. 이 문제를 타개하기 위해 기업은 새로운 마케팅 애널리틱스 툴을 도입했다. 툴은 소비자들의 웹페이지 체류 시간, 쇼핑카트 내 상품 삭제 경향 등 각종 활동 기반 데이터를 수집해준다. 그러나, 툴이 전달하는 수많은 정보 가운데 고객들이 ‘왜’ 웹페이지에 길게 머물지 않고 ‘왜’ 카트에 담아놓은 물건을 결제하지 않는지를 설명해주는 정보는 하나도 없다.

정량 정보 분석 소프트웨어 및 서비스 공급자 유아이(YouEye)의 최고 상품 책임자 콜린 세바스찬은 “당신의 페이지에 1만 명의 고객이 접속했다는 정보는 정량적 데이터다. 그리고 그 만 명의 고객 가운데 4,000명의 고객이 특정 주제에 관해 큰 흥미를 드러냈다는 정보는 정성적 데이터다. 간단한 비교긴 하지만, 두 데이터 가운데 어떤 정보를 더 알고 싶은가? 정성적 데이터는 정량적 데이터의 대체제가 아닌, 빅데이터 비즈니스의 궁극점이다”라고 설명했다.

고객들의 웹페이지 체류 시간과 구매 경향 및 규모 간의 개연성을 밝혀내는 식의, 데이터 지점들 간의 상관 관계를 포착하는 과정은 일정 수준 이상의 컴퓨팅 기능을 갖춘 툴을 통해선 언제라도 가능한 작업이다. 반면 정성적 데이터를 분석하는 것은 그 인과 관계 안에 자리잡은 ‘왜?’라는 의문을 해소해주는 작업이다. 위의 예시를 더 다뤄보자면, 사람들은 사이트를 오래 구경하다 보니 자연스레 더 많은 상품을 사게 되는 것일까? 아니면 결제 프로세스에 자꾸 오류가 나서 사이트 체류 시간이 길어진 것일까?

세바스찬은 “오늘날 CMO들은 많게는 14개의 대시보드를 관리한다. 이런 환경 속에선 ‘분석 마비’가 올 여지가 충분하다. 1,000만 개의 데이터 지점에서 데이터가 쏟아져오고 그를 통해 하나의 질문에 17개의 서로 다른 해석 방향이 전개되는데 그것들에서 제대로 된 의미를 뽑아낼 맥락을 잡지 못하면 결국 빅데이터 애널리틱스는 완전히 마비될 위험도 있다”라고 말했다.

부즈 알랜 해밀튼(Booz Allen Hamilton)의 수석 데이터 과학자 커크 본은 “지금까지 정량적 데이터를 분석하는 것은 인간의 손을 거쳐야 하는 작업으로 인식돼왔다. 단순히 데이터베이스 쿼리를 제출하고 수치 자료를 시각화하는 것 이상의 심층적인 노력이 필요한 과정이었기 때문이다”라고 말했다. 그 결과 정성적 데이터 분석은 그 규모에 제한이 있을 수 밖에 없었다고 그는 덧붙였다.

하지만 이제는 변화가 감지되고 있다. 이제는 정성적 데이터를 분석할 수 있는 툴과 전용 패키지들이 활발히 소개되고 있고, 또한 정성적 데이터를 정량적 데이터로 변환해낼 새로운 방법론들 역시 등장하고 있기 때문이다. 기존에 탄탄히 연구되어온 정량적 애널리틱스 전략들을 정성적 데이터에도 적용할 수 있게 된 것이다.