빅데이터 애널리틱스 10년 전망 · · · 변화 견인차는 '클라우드'

- 사용자들이 오픈 생태계에서 여러 업체의 빅데이터 배치를 혼합해 연출하는 경향이 커진다. 독점, 비표준 또는 비 오픈소스 구성요소가 포함된 솔루션을 제공하는 빅데이터 업체가 줄어든다. 고객들은 오늘날 시장의 경쟁이 치열한 점을 노려 빅데이터 애널리틱스 업체들로부터 계속되는 기능 개선을 얻어낸다.

한편, 업체들은 고객들이 다양한 기능 수준에서 구성요소를 교환할 수 있는 모듈식 아키텍처 내로 자신들의 도구를 분리시킨다. 이는 풀스택(full-stack) 업체 종속이 과거의 일이 되어 버린 시장을 일정 수준으로 계속 점유하고자 하는 업체에게 최상의 방식이다.

- 데이터베이스가 혁신적인 방식으로 해체되고 재조립된다. 아키텍처의 관점에서 보면 우리가 알던 데이터베이스는 시들해진다. 우리는 스트리밍, 인메모리(in-memory), 무서버 빅데이터 애널리틱스 인프라가 대권을 장악할 미래로 진입한다. 업체들은 자동화된 머신러닝 파이프라인과 엣지 페이싱(edge-facing) 인지 IoT 분석과 같이 새롭게 등장한 요건에 대처하기 위해 핵심 데이터베이스 기능을 재설계할 새로운 방법을 모색한다.

이러한 발전 과정에서 보다 고성능 거래 분석 기능이 각종 데이터 플랫폼에 통합됨에 따라, 분석 및 응용 데이터베이스가 통합된다. 또한, 데이터베이스 저장 엔진은 데이터 보관소로 자리잡는다. 주요 보관 대상은 핵심 가치 지표 및 객체 스키마와 같은 교체 구조를 통해 주소 지정 가능한 기계 데이터이다.

- 데이터 과학 도구 체인의 엔드 투 엔드 데브옵스 파이프라인 자동화가 늘어난다. 빅데이터 강화 프로그래밍이 계속해서 더욱 정교해진다. 머신러닝, 딥러닝 등 AI 자산의 개발과 배치 및 관리의 다양한 작업을 자동화하기 위한 데브옵스 도구가 늘어나고 개발자들은 이를 활용한다. 이처럼 늘어나는 솔루션들은 심지어 전문 머신러닝 알고리즘을 활용해 하이퍼파라미터 튜닝(hyperparameter tuning)과 같은 머신러닝 개발 기능을 구동한다.

- 패키지된 빅데이터 애널리틱스 응용프로그램이 보다 광범위하게 사용 가능하게 된다. 향후 10년 동안에는, 빅데이터 애널리틱스 솔루션을 사전에 구축, 교육되고 템플릿화된 클라우드 서비스로서 구입하는 사용자들이 많아진다. 이들 서비스 중에는 최적의 업무 결과를 지속적으로 제공하기 위해서 임베디드 된 머신러닝, 딥러닝, AI 모델을 자동으로 조정 및 조율하는 것이 많다. 또한 고객이 스스로의 필요에 맞게 수정하고 확장할 수 있는 사전 교육된 모델을 포함시키는 경우도 많다.

빅데이터 애널리틱스의 발전과 배치를 가로막는 장애물
빅데이터 애널리틱스 활용에 대한 여러 장밋빛 예상에도 불구하고, 사용자들을 좌절시키는 고질적인 문제들이 아직 많이 남아 있다. 그 가운데 주요 문제들은 다음과 같다.

- 지나친 복잡성. 빅데이터 애널리틱스 환경 및 응용프로그램은 여전히 너무 복잡하다. 업체들은 이러한 환경의 인터페이스와 아키텍처, 기능, 도구 등을 계속해서 간소화해 나가야 한다. 그렇게 한다면, 필요한 전문 기술을 갖춘 사내 IT 직원이 부족한 경우가 많은 주류 개발자 및 사용자들도 정교한 빅데이터 애널리틱스 기능을 활용할 수 있게 된다.

- 번거로운 절차. 많은 IT 전문가들에게 빅데이터 애널리틱스 관리 및 통제 절차는 여전히 너무 사일로화돼 있고 비용이 많이 들며 비효율적이다. 업체들은 대규모 전문 직원 팀이 데이터와 메타데이터, 분석, 서비스 정의 등을 보다 효율적이고 빠르고 정확하게 관리할 수 있도록 도움을 주는 사전 패키지된 작업흐름을 구축해야 한다.

- 질질 끄는 파이프라인. 빅데이터 애널리틱스 응용프로그램 개발 및 운용화 파이프라인은 여전히 너무 시간이 오래 걸리고 수동적인 방식이다. 업체들은 제공 도구의 자동화 기능을 강화하여 사용자 기술 직원의 생산성을 높이는 한편, 미숙련 직원조차 복잡한 작업을 일관성 있게 처리 가능하게 해야 한다.

- 사용자 정의 응용프로그램. 빅데이터 애널리틱스 전문 서비스는 여러 사용자 정의 응용프로그램의 개발, 배치 및 관리에 여전히 필수적이다. 하이브리드 클라우드에 걸쳐 있고 이종의 플랫폼 및 도구를 활용하며 가늠할 수 없을 정도로 복잡한 데이터 절차가 포함된 데이터 주도 응용프로그램의 경우 특히 그렇다. 업체들은 흔한 빅데이터 애널리틱스 응용프로그램을 위한 사전 패키지된 응용프로그램 콘텐츠를 강화하는 한편 사용자들이 외부 도움 없이 복잡한 업무 로직을 명시할 수 있는 셀프 서비스 시각 도구를 제공해야 한다.

기업 IT 부문에게 위키본이 주로 권하는 내용은 ‘빅데이터 애널리틱스 개발 활동의 더 많은 부분을 퍼블릭 클라우드 환경으로 이주시키기 시작하라’라는 것이다. 그러면, AWS, 마이크로소프트, 구글, IBM 등 퍼블릭 클라우드 제공업체에서 제공하는 급속도로 성숙하고 있는 저가 제품을 더 빠른 속도로 활용할 수 있게 된다. 또 향후 몇 년 간 퍼블릭 클라우드로의 원활한 이전을 위해 기업 하이브리드 클라우드 확장을 고려해야 한다.

* James Kobielus는 실리콘앵글 위키본의 수석 애널리스트다. AI, 데이터과학, 애플리케이션 개발 분야를 담당한다. ciokr@idg.co.kr