데이터 분석을 빠르게··· 인메모리 기술 확산

인메모리 기술은 또 USPS가 부정사용을 적발하고 우편물에 적절한 요금이 부과되었는지를 신속하게 파악할 수 있게 해준다. 그들은 인메모리 데이터베이스를 USPS가 동적 경로 설정법, 익일 배송, 예측 전송 등의 작업을 활용할 수 있도록 하는 기술로 보고 있다.

휴스턴과 앳킨스는 "인메모리 데이터베이스를 통해 우리는 과거 몇 시간 또는 며칠이 소요되었던 것들을 실시간으로 처리할 수 있다"라고 말했다.

재정적 효과 그 이상, 통신 산업
사실 인메모리 기술이 특별히 새로운 것은 아니다. 인메모리 분석 플랫폼 벤더 코그니티오(Kognitio)의 CTO 로저 가스켈은 최초의 시스템이 런던의 중개기업 세이버리 밀른(Savory Milln)을 위해 1980년대에 구축됐다고 말했다. 이 기업은 실제적으로 제 때에 거래 노출 위험을 계산하기 원했다고 가스켈이 말했다.

인메모리 시스템 이전에는 계산에 밤을 새워야 했다. 인메모리는 "우리가 사용례 기준을 충족시킬 수 있는 충분한 CPU 처리능력을 확보할 수 있도록 데이터를 빠르게 처리할 수 있는 유일한 방법이었다"라고 가스켈이 말했다.

약 25년이 지난 지금, 새로워진 것은 인메모리 기술에 대한 관심이 급격히 증가했다는 점이다. 가스켈은 "지난 2년 동안 굉장한 변화가 있었다. 인메모리는 큰 인기를 얻었으며, 적용 분야는 폭발적으로 증가했다"라고 말했다.

그는 이어 금융 서비스 및 통신 기업들이 코그니티오의 주요 고객이었지만, 인메모리에 대한 수요는 소매 시장 등에서 더 나타나고 있다고 말했다.

테라코타의 앨런은 금융 서비스, 물류, 전자상거래, 정부, 의료 부문 등에서 인메모리에 대한 관심을 보였다며, “어디에서든 폭넓게 적용할 수 있다. 사람들은 '이것을 어떻게 활용하지?'라고 말한다"라고 전했다.

수요가 증가하면서 인메모리 기술을 제공하는 벤더의 수 또한 증가하고 있다. 예를 들어, 지난 5월에는 테라데이터(Teradata)가 자사의 데이터 저장소에 내재된 기능을 통해 고객들이 메모리를 활용할 수 있도록 하는 인텔리전트 메모리(Intelligent Memory) 서비스를 도입했다.

테라데이터의 대변인 앨런 그린스팬은 "별도의 기기가 필요 없다"면서, 이 기술로 데이터를 추적해 자주 사용되는 데이터를 메모리로 옮긴다고 덧붙였다.

인메모리 기술을 이용한 터치 처리 및 색인
인메모리 데이터베이스는 기관들이 신속하게 많은 데이터를 처리해야 할 때, 극적인 결과물을 생성할 수 있는 잠재력을 갖고 있다. 하지만 문제점이 아주 없는 것은 아니다. 기술의 특성에 대한 오해가 이런 문제점 중 하나다.

업계 전문가들은 인메모리 배치를 위해서는 단순히 데이터를 메모리로 옮기는 작업 이상의 것이 필요하다고 설명하고 있다. 먼저 반드시 메모리를 활용하기 위한 데이터 관리 소프트웨어를 설계해야 한다.

SAP의 데이터 저장소 솔루션 및 HANA 플랫폼 담당 부사장 크리스 핼렌벡은 "단순히 메모리에 데이터를 옮기는 것이 아니다. 처음부터 데이터베이스 전체를 다시 작성하여 디스크 대신에 메모리를 주된 저장 매체로 사용하도록 하는 것이다"라고 말했다. (SAP HANA 실시간 플랫폼은 인메모리 데이터베이스를 포함하고 있다).

또 다른 문제점도 있다. 인메모리 기술의 속도 때문에 프로세서에 대한 부담이 가중된다. 결과적으로, 기관들은 반드시 데이터에 접근하는 코드를 병렬화하고 클러스터 전반에 걸쳐 부하 균형을 적용해야 한다. 린드퀴스트는 "부하 균형은 인메모리 데이터베이스를 활용하는 능력에 있어서 중요한 부분을 차지하고 있다"라고 말했다.

실제로 애드저글러는 상용 하드웨어와 자체 개발한 소프트웨어를 사용한 풀(Pull) 기반의 부하균형 시스템을 개발했다. 애드저글러의 거래처리 엔진의 각 인스턴스는 부하균형 구성요소로부터 작업을 가져오고 작업을 완료한 후, 다시 더 많은 작업을 가져온다. 시스템은 추가적인 용량이 필요한 경우에 더 많은 인스턴스를 불러온다.

또 인메모리 제품을 사용하는 기업들은 반드시 데이터베이스 색인을 조심해야 한다. 전통적인 데이터베이스를 사용하는 기업들은 상당한 디스크 공간을 색인에 할당할 수 있다. 하지만 인메모리 데이터베이스는 더 높은 정확성이 요구된다.

린드퀴스트는 "데이터베이스 등의 인메모리 저장소를 사용하는 경우에는 성능을 위해 색인을 작성해야 한다. RAM이 더욱 비싸고 한정적이기 때문에 더욱 정확해야 한다"라고 말했다.

RAM의 휘발성 때문에 인메모리 도입 시 또 다른 문제점이 야기된다. 시스템에 문제가 발생하는 경우, 데이터를 반드시 다시 불러와야 한다. 이 때문에 시간이 소요될 수 있다.

USPS에서 휴스턴과 앳킨스는 인메모리 데이터베이스를 사용하는데 있어서 데이터 보호가 가장 큰 문제점 중 하나라고 지적했다. USPS는 현재 인메모리로 무거운 작업을 처리하고 나서 관련된 결과를 관계형 데이터베이스에 다시 전송하고 있다. 또한 USPS는 인메모리를 통한 처리의 체크포인트 파일을 유지하여 문제가 발생하는 경우에 제한적인 복구를 수행하고 있다. 그는 "우리는 합리적인 보완책을 통해 중요한 데이터를 보호하고 있다"라고 말했다.

하지만 체크포인트 파일에서 인메모리 시스템을 복구하는 작업은 쉽지 않다. 휴스턴과 엣킨스는 "예상했겠지만, 전통적인 저장매체에서 16TB를 복구하기 위해서는 상당한 시간이 소요된다"라며, USPS의 인메모리 데이터 저장소 규모를 언급했다.

그들은 "이 문제를 해결하기 위해서 우리는 현재 다시 불러오는 시간이 크게 줄어들기를 바라는 마음에 처리에 플래시(Flash) 카드 기술을 추가하는 것을 연구하고 있다"라고 전했다. ciokr@idg.co.kr