Offcanvas

디지털 트랜스포메이션 / 빅 데이터 / 통신|네트워크

칼럼|'현재'와 '과거'를 결합하라··· 데이터 플랫폼의 넥스트 스텝

2021.07.19 Kelly Herrell  |  InfoWorld
데이터가 생성되자마자 인사이트, 액션, 가치를 제공해줄 수 있는 새 플랫폼은 데이터 처리가 나아가야 할 다음 단계다.

코로나19 사태 이후 디지털 이니셔티브가 가속화됨에 따라, IT 지출이 내년쯤이면 2019년 수준으로 회복될 것으로 예상된다. 가트너는 데이터베이스, 애널리틱스 및 비즈니스 인텔리전스를 비롯한 기업용 소프트웨어에 대한 지출이 가장 빠르게 늘어날 것이라고 전망했다.
 
ⓒGetty Images Bank

데이터로부터 인사이트든 거래든 모종의 가치를 이끌어내는 일은 비즈니스 성과를 개선하는 데 있어 핵심적이다. 이는 데이터베이스 및 애널리틱스 시장의 가치가 2,000억 달러(한화 약 228조 원)에 달하는 이유이기도 하다. 

디지털화는 데이터에서 가치를 도출하는 데 있어 실시간성이라는 새로운 벡터를 만들어냈다. 포레스터 컨설팅의 보고서에 따르면, 경영진의 80% 이상은 이벤트와 시장 상황에 대한 즉각적인 인사이트를 기반으로 실시간 의사결정을 내릴 필요가 있다고 생각한다.

그럼에도 불구하고... 희망과 역량 사이에는 커다란 격차가 있다. 포레스터에 따르면, 기업 임원의 3분의 2 이상은 소속 조직이 실시간으로 데이터 기반 인사이트와 액션을 도출하지 못했다고 응답했다. 

데이터가 쇄도한다
디지털화로 인해 엄청난 양의 실시간 데이터가 생산되고 있다. 서버, 기기, 센서 및 IoT 장치 등으로부터다. 지난 30년간 생성된 데이터보다 향후 3년간 생산될 데이터가 더 많을 것으로 추정된다. 

모든 새로운 데이터는 실시간으로 만들어진다. 지금 막 생성된 데이터에는 방금 발생한 사건과 관련된 고유의 가치가 담겨 있다. 하지만, 그 가치는 시간의 흐름과 함께 소멸될 수 있으며, 데이터는 시의성을 잃게 된다. 

기업 임원진은 실시간 데이터를 활용하여 가치를 발견하고 싶어 하지만 대부분 실패한다. 새롭게 생성되는 데이터의 양이 막대하기 때문이다. 다수 임원을 대상으로 진행한 델 테크놀로지 2020 디지털 변혁 인덱스 조사에 따르면, 이들은 소속 조직이 분석 혹은 이해할 수 있는 수준 이상으로 많은 데이터가 생성되고 있다고 응답했다. 

실시간 데이터가 홍수처럼 쏟아지면서 전에 없던 큰 문제가 발생하기도 한다. 새로운 유형의 데이터 사일로 현상이 생겨나는 것이다. 실시간 데이터는 축적된 데이터를 처리할 때와는 또다른 기술을 필요로 한다. 왜냐하면 이 두 유형의 데이터는 다음과 같이 특성이 서로 다르기 때문이다. 
 
  • 실시간 데이터의 고유한 가치는 잠깐 사이에 사라진다. 
  • 실시간 데이터는 심층적인 맥락이 없으면 아토믹 페이로드(atomic payload)에 그치곤 한다.
  • 각 데이터는 정보의 가치가 다르다. 실시간 데이터는 방금 일어난 사건에 관해 말하며, 축적된 데이터는 과거의 사건에 관해 말해준다. 
즉, 실시간 데이터는 방금 발생한 사건에 관한 시의성 있는 정보를 담고 있긴 하지만, 축적된 데이터에서 찾아볼 수 있는 풍부한 맥락은 부족하다. 

어떤 고객이 지금 막 온라인에서 소매용 상품을 봤다는 정보를 알게 됐다고 하더라도, 그 정보를 고객의 프로필 및 구매 이력 정보와 즉시 결합할 할 수 없다면 과연 소용이 있을까? 방금 금융 시장에서 발생한 거래와, 그 거래에 관여한 이들의 과거 실적 정보를 결합할 수 없다면, 과연 해당 거래의 리스크를 분석할 수 있을까? 제조시설 센서에서 수집된 이벤트 데이터가 이상 신호를 보여준다고 하더라도, 최근의 유지관리 이력을 모른다면 예방 조치의 필요성을 어떻게 평가할 수 있을까? 

데이터 세계가 영구적으로 바뀌고 있다. 그리고 이 변화의 주된 요인은 실시간 데이터다. 그러나 아직 풍부한 맥락에 의해 뒷받침돼야 한다는 숙제가 남아 있다. 이 변화의 요인을 적절히 활용한다면 가치 있는 비즈니스 결과 창출을 위한 강력한 잠재력을 제공받을 수 있다. 

데이터베이스 방식이 아니다
데이터베이스는 애플리케이션과 과거의 데이터 사이에 위치하며, 이 저장된 데이터를 처리하고 검색하는 데 있어 뛰어난 성능을 보여준다. 하지만, 전통적인 애플리케이션에서만 뛰어나다. 데이터베이스의 기능과 작업 방식 모두 과거의 요건에 맞춰 설계되었기 때문이다.

그러나 디지털화가 대두하면서 데이터베이스의 데이터 처리 방식에 변화가 필요해졌다. 마이크로초의 처리 속도가 중요해진 것이다. 이는 (기존의) 데이터베이스 아키텍처와는 거리가 멀다. 

게다가 데이터베이스는 A 지점에서 발생해 B 지점으로 전달되는 실시간 데이터를 처리할 목적으로 설계되지 않았다. 따라서 이러한 처리가 가능한 엔진과 데이터베이스의 연결을 요구한다. 이런 인터페이스는 상당한 지연을 낳는다. 실시간 데이터의 가치가 시간의 흐름과 함께 빠르게 소멸된다는 점을 고려한다면, 이러한 지연은 실시간 데이터에 커다란 걸림돌로 작용한다. 여러 개의 시스템을 어떻게든 결합할지라도, 비용과 아키텍처 복잡성이 발생한다.

실시간 데이터와 축적된 데이터의 처리 과정을 통합하기 위해서는 새로운 범주의 데이터 처리 플랫폼이 필요하다. 이 플랫폼은 기존의 데이터베이스를 활용해야 하며, 두 유형의 데이터를 모두 활용하는 애플리케이션을 지원해야 한다.

이러한 다기능 플랫폼에는 데이터 수집, 변환, 배포 및 동기화에 필요한 스트리밍 엔진이 포함된다. 이 플랫폼은 데이터 처리에 필요한 초저지연 요건을 충족하기 위해 반드시 인메모리 기술을 기반으로 해야 한다. 그리고 확장성과 탄력성이라는 두 요건을 충족하려면, 분산 아키텍처 구조를 갖춰야 한다. 이러한 조합을 이뤄질 경우, 다기능 플랫폼은 초당 발생하는 수백만 건의 복잡한 트랜잭션에 대해 밀리초 미만의 응답을 제공할 수 있다.

새로운 데이터 처리 플랫폼이 필요하다
기업이 처리 가능한 분량보다 훨씬 많은 데이터가 새롭게 생산되는 가운데, 이들 데이터로부터 가치를 얻으려면 데이터베이스의 풍부한 맥락과 결합될 수 있어야 한다. 따라서 IT 아키텍처를 보완해 실시간 처리용으로 설계된 새로운 데이터 처리 플랫폼을 포함시킬 필요가 있다. 이 플랫폼은 실시간 디지털 운영에 요구되는 속도로 인사이트와 액션을 제공해 매 순간의 가치를 포착할 수 있도록 지원할 것이다.

*Kelly Herrell은 스트리밍 및 메모리 우선 애플리케이션 제조업체인 헤이즐캐스트의 CEO다. ciokr@idg.co.kr
 
추천 테크라이브러리

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.