비즈니스 분석에 불어오는 5가지 트렌드 ‘그리고 대처법’

실제로 메모리에서 더욱 많은 데이터를 처리할 수 있는 최신 기술과 성능 덕분에 디스크에 저장된 기가바이트 수준의 데이터를 검색할 때보다는 더욱 빠른 결과를 얻을 수 있다.

비록 데이터베이스가 수십 년 동안 자주 사용하는 데이터의 캐싱을 통해 성능을 향상시켰다 하더라도 이제는 대규모 데이터 세트 전체를 서버 또는 서버 클러스터의 메모리에 로드(Load)하고 디스크는 백업용으로만 사용하는 것이 훨씬 실용적인 경우가 많다. 회전하는 자기 디스크에서 데이터를 검색할 때는 기계적인 과정이 포함되기 때문에 메모리에서 처리하는 것보다는 규모 면에서 느리기 때문이다.

로텔라는 이제 "5년 전만 하더라도 하룻밤이 꼬박 소요되던 분석을 단 몇 초 만에 수행할 수 있게 되었다"라고 전했다. 그가 속한 기업이 대규모 데이터 세트에 대해 수행하는 예측 분석에는 쿼리(Query) 운용, 패턴 찾기, 다음 쿼리를 운용하기 전의 조정 등이 포함된다.

이 때 쿼리의 실행 시간이 분석 속도에 지대한 영향을 끼친다. 그는 "이전에는 모델을 구축하는 것보다 시간이 더 오래 걸렸지만 지금은 모델을 구축하는 것이 더 오래 걸린다"라고 말했다.

관계형 데이터베이스의 전통적인 행/열 구조를 역행하는 칼럼(Column)형 데이터베이스 서버는, 새로운 범주의 성능 문제를 해결하고 있다. 기록 전체를 읽어 선택된 칼럼을 추출하는 대신에 쿼리가 관심 있는 칼럼에만 접근하여 몇몇 중요 칼럼을 집단화하거나 측정하는 애플리케이션에 대한 성능이 극적으로 향상된다.

터넌트는 칼럼형 데이터베이스의 성능상 이점에 대해 적절한 애플리케이션과 쿼리 설계를 통해서만 취할 수 있다고 말했다. 그는 "차이를 만들기 위해서 적절한 질문을 적절한 방식으로 해야 한다"라고 말했다.

한편 그는 칼럼형 데이터베이스가 500 기가바이트 이상의 데이터를 처리하는 애플리케이션에 적합하다고 평가했다. 그는 "칼럼형을 사용하려면 일정 수준의 데이터를 확보해야 한다. 왜냐하면 일정 수준의 반복되는 데이터를 통해 효율성이 달성되기 때문이다"라고 말했다.

분석 성능을 높이기 위해서는 하드웨어도 중요하다. 보험 및 금융 서비스 기업 존 핸콕(John Hancock)의 CIO 앨런 해크니는 저장소에 게임 PC용 그래픽 프로세서(GPU 칩)을 추가하고 있다. 그는 "시각화를 위한 계산은 통계적 분석을 위한 계산과 매우 유사하다"면서, 그래픽 프로세서는 일반적인 PC와 서버 프로세서보다 수백 배나 빠르게 연산을 수행할 수 있다고 말했다.

3. 기술 비용 절감
컴퓨팅 성능의 향상과 함께 메모리와 스토리지의 가격이 저렴해지면서 비즈니스 애널리틱스가 탄력을 받고 있다. 또한 상용 제품을 대신할 수 있는 오픈소스 소프트웨어 덕분에도 가격이 인하되고 있다.

터넌트는 오픈소스를 극찬했다. 그는 아일랜드 원에 합류하기 전 오픈소스 비즈니스 인텔리전스 기업 펜타호(Pentaho)의 부사장으로 근무하면서 BI와 오픈소스에 초점을 맞춘 컨설턴트로 일했었다. 그는 아일랜드 원 같은 중소기업들이 통계 분석을 위해 SAS 대신에 오픈소스 애플리케이션 R을 사용할 수 있다면서, "개인적으로 오픈소스가 사회적 균형을 실현하고 있다고 생각한다"라고 말했다.

그는 과거 오픈소스 툴이 기본적인 보고를 위해서만 사용되었지만 지금은 가장 발전된 형태의 예측 분석을 제공하고 있다고도 강조했다. 그는 "지금은 전체 라인업을 모두 갖춘 오픈소스 기업이 있다. 즉, 누구든 사용할 수 있는 툴이 제공되고 있다는 뜻이다"라고 말했다.

HMS의 너스터드는 컴퓨팅의 경제학이 바뀌면서 기본적인 선택 구조가 변화하고 있음을 느끼고 있다고 전했다. 예를 들어, 데이터 저장소를 구축하는 이유는 데이터를 처리할 수 있는 연산 능력을 가진 서버로 데이터를 가져오기 위한 것이었다. 지금보다 연산 능력이 부족했던 시기에는 운영 시스템에서 분석의 작업부하를 줄여 일반적인 작업 부하의 성능이 떨어지지 않도록 하는 것이 중요했다. 하지만 이제는 그런 선택이 반드시 옳은 것은 아니라는 설명이다.

그녀는 "요즘은 하드웨어와 스토리지가 매우 저렴하기 때문에 운영 시스템이 BI 계층을 처리할 수 있도록 하는 것도 가능하다”라며 데이터를 저장소로 옮기고 재 초기화하고 불러오는 모든 단계를 분리함으로써 운영 애플리케이션 상에 직접적으로 구축된 분석이 종종 더욱 즉각적인 대답을 제공할 수 있다고 전했다.

하지만 해크니는 그러나 성능에 대한 수요가 증가하면서 비용 절감의 잠재력이 상쇄되고 있다고 말한다. 그는 "제자리에서 달리는 것과 같다"라고 말햇다. 존 핸콕에 따르면 스토리지의 단위당 비용은 올해 2-3%정도 하락했지만 소비는 20%나 증가했다.