2017.02.08

전문가들이 말하는 2017년 빅데이터·분석 전망 15선

Thor Olavsrud | CIO
빅데이터와 분석 관련 기술은 소셜, 모바일, 클라우드와 더불어 디지털 시대의 변혁을 이끄는 주역으로 알려져 있다. 2016년 시장의 주인공이 BI 강화를 주도한 빅데이터 기술이었다면 2017년은 데이터, 분석 분야의 혁신에 주목해야 할 한 해가 될 것이다.



전문가들이 바라본 올해 빅데이터와 분석 관련 전망을 15가지로 정리했다.

맵알테크놀로지스(MapR Technologies)의 설립자이자 수석 경영자로 재직 중인 존 슐로이더 2017년 데이터와 분석 시장을 휩쓸 흐름으로 다음의 6가지를 지목했다.

● 인공지능(AI)의 새로운 전성기. 1960년대 레이 솔로모노프는 귀납적 추론 및 예측을 위한 종합적 베이지안(Bayesian) 방법론을 소개하며 AI와 관련한 수학적 이론의 토대를 마련했다. 그리고 80년대 스탠퍼드에서 열린 제1차 미 인공지능 협회(AAAI, American Association for Artificial Intelligence) 총회에서는 산업의 이론들을 소프트웨어에 적용할 방법에 대한 논의가 이뤄진 바 있다. 오늘날 AI는 다시금 시장의 주류로서 논의되고 있으며, 기계 지능(machine intelligence), 머신러닝, 신경망, 인지 컴퓨팅 등 각종 파생어를 만들어가고 있다. AI가 다시 한번 주류로 진입한 이유는 무엇일까? 슐로이더는 그 이유로 흔히 빅데이터를 정의하는 3V 개념(속도(Velocity), 다양성(Variety), 규모(Volume))을 언급했다.

오늘날의 플랫폼들은 현대적, 전통적 프로세싱 모델들이 보장하는 확장성에 힘입어 이 세 V를 처리할 수 있게 됐으며, 그에 따라 이전의 플랫폼들보다 10~20배 개선된 비용 효율성을 보장할 수 있게 됐다고 슐로이더는 설명했다. 구글은 대규모 데이터셋을 대상으로 잦은 빈도로 실행되는 단순한 알고리즘이 어떻게 더 작은 세트를 활용하는 다른 접근법들에 비해 더 나은 결과를 창출할 수 있을지를 명확하게 설명한 바 있다. 슐로이더는 대규모의 반복적 작업 상황에 인간의 직관이 개입해 발생할 수 있는 오류와 손실의 우려를 보완할 도구로 AI의 가능성을 강조하며, 곧 AI를 활용한 가치 발굴 사례들을 실제로 만나볼 수 있을 것으로 전망했다.

● ‘통제냐, 경쟁우위냐’ 불붙는 빅데이터 논쟁. 슐로이더는 2017년에 데이터 통제와 가치 발굴이라는 2가지 관점 사이의 논쟁이 한층 뜨거워질 것으로 내다봤다. 기업들은 고객과 파트너에 대한 더욱 많은 정보를 수집하고 있으며, 이를 때론 통제된 방식으로, 때론 그렇지 않은 방식으로 관리하게 될 것이다. 통제된 방식이란 데이터의 품질과 계보를 관리해 규제 기관이 그것의 출처와 모든 변형을 추적, 보고할 수 있도록 하는 것이다. 슐로이더는 기업들에게 이런 통제가 권고, 의무화되기는 하지만 때로는 커스터머 360(Customer 360)과 같은 솔루션을 활용한 용례나 더 높은 기수(cardinality), 실시간, 정형-비정형 조합을 통한 서비스 제공 등의 비-통제 용례들이 훨씬 더 효율적인 결과를 창출하는 경우도 있다고 설명했다.

● 데이터 호수라는 늪에 빠지는 것을 막고자 현업이 애플리케이션 투자 주도. 슐로이더에 따르면, 2017년 기업들은 ‘구축만 완료되면 모두가 몰려온다는’ 데이터 호수에 대한 기존의 시각에서 탈피해 좀더 현업 주도적인 데이터 접근법을 받아들여 나갈 전망이다. 오늘날 시장에서 분석, 운영 기능은 고객, 프로세스 요청, 인터페이스를 개별 차원에서 실시간으로 기기에 전달하는 도구로 활용되고 있다.

예를 들어 전자상거래 사이트의 경우 실시간 고객 맞춤 추천이나 가격 확인 등에 집중하고 있고, 의료 기관들의 경우 분석과 운영 시스템을 결합해 보험 승인과 부정 수급 차단 작업을 처리하고 있으며, 미디어 산업에서는 셋톱박스를 통한 맞춤 콘텐츠 제안, 그리고 맞춤 차량 생산, 렌트 분야에서는 차량과 운전자 간의 상호작용 강화 방안에 대한 연구가 이뤄지고 있다.

이러한 사례를 구현하기 위해서는 백오피스에서 데이터 분석 기능과 현업의 운영 기능을 아우르는 가치 발굴 과정이 요구된다. 기술적으로는 애널리틱스, 운영 프로세싱을 함께 전개할 수 있는 애자일 플랫폼이 요구되는 부분이다. 슐로이더는 2017년 기업들이 ‘질문을 던지는’ 접근법을 넘어 장·단기적 비즈니스 가치를 주도할 구조 구축에 집중할 것으로 예상했다.

● 데이터 민첩성이 성패 좌우. 슐로이더는 데브옵스(DevOp) 전략을 통해 소프트웨어 개발 과정이 좀더 지속적이고, 민첩하게 진행되고 있는 경향에 주목하고 있다. 2017년 처리 및 분석 모델은 한층 더 진화해 기업들이 데이터 민첩성(data agility, 데이터를 맥락적으로 이해하고 그에 기반을 둔 비즈니스 액션을 취하는 역량) 인지에 버금가는 수준의 민첩성을 제공하게 될 것이다. 기업들에겐 단순히 거대한 데이터 호수를 보유하는 것을 넘어, 새로운 경쟁우위의 기반을 확보하는 것이다.

슐로이더에 따르면, 애자일 프로세싱 모델(agile processing model)의 대두는 동일 데이터 인스턴스를 통한 배치 애널리틱스(batch analytics), 쌍방향 분석, 글로벌 메시징, 데이터베이스, 파일 기반 모델 지원을 가능케 할 것이다. 또한 애자일 분석 모델의 확장은 단일 데이터 인스턴스가 더 넓은 범위의 도구 모음을 지원할 수 있을 때도 구현할 수 있다. 이를 통해 기업들은 궁극적으로 광범위한 처리 및 분석 모델을 지원하는 애자일 개발과 애플리케이션 플랫폼의 확보가 가능해진다.

2017.02.08

전문가들이 말하는 2017년 빅데이터·분석 전망 15선

Thor Olavsrud | CIO
빅데이터와 분석 관련 기술은 소셜, 모바일, 클라우드와 더불어 디지털 시대의 변혁을 이끄는 주역으로 알려져 있다. 2016년 시장의 주인공이 BI 강화를 주도한 빅데이터 기술이었다면 2017년은 데이터, 분석 분야의 혁신에 주목해야 할 한 해가 될 것이다.



전문가들이 바라본 올해 빅데이터와 분석 관련 전망을 15가지로 정리했다.

맵알테크놀로지스(MapR Technologies)의 설립자이자 수석 경영자로 재직 중인 존 슐로이더 2017년 데이터와 분석 시장을 휩쓸 흐름으로 다음의 6가지를 지목했다.

● 인공지능(AI)의 새로운 전성기. 1960년대 레이 솔로모노프는 귀납적 추론 및 예측을 위한 종합적 베이지안(Bayesian) 방법론을 소개하며 AI와 관련한 수학적 이론의 토대를 마련했다. 그리고 80년대 스탠퍼드에서 열린 제1차 미 인공지능 협회(AAAI, American Association for Artificial Intelligence) 총회에서는 산업의 이론들을 소프트웨어에 적용할 방법에 대한 논의가 이뤄진 바 있다. 오늘날 AI는 다시금 시장의 주류로서 논의되고 있으며, 기계 지능(machine intelligence), 머신러닝, 신경망, 인지 컴퓨팅 등 각종 파생어를 만들어가고 있다. AI가 다시 한번 주류로 진입한 이유는 무엇일까? 슐로이더는 그 이유로 흔히 빅데이터를 정의하는 3V 개념(속도(Velocity), 다양성(Variety), 규모(Volume))을 언급했다.

오늘날의 플랫폼들은 현대적, 전통적 프로세싱 모델들이 보장하는 확장성에 힘입어 이 세 V를 처리할 수 있게 됐으며, 그에 따라 이전의 플랫폼들보다 10~20배 개선된 비용 효율성을 보장할 수 있게 됐다고 슐로이더는 설명했다. 구글은 대규모 데이터셋을 대상으로 잦은 빈도로 실행되는 단순한 알고리즘이 어떻게 더 작은 세트를 활용하는 다른 접근법들에 비해 더 나은 결과를 창출할 수 있을지를 명확하게 설명한 바 있다. 슐로이더는 대규모의 반복적 작업 상황에 인간의 직관이 개입해 발생할 수 있는 오류와 손실의 우려를 보완할 도구로 AI의 가능성을 강조하며, 곧 AI를 활용한 가치 발굴 사례들을 실제로 만나볼 수 있을 것으로 전망했다.

● ‘통제냐, 경쟁우위냐’ 불붙는 빅데이터 논쟁. 슐로이더는 2017년에 데이터 통제와 가치 발굴이라는 2가지 관점 사이의 논쟁이 한층 뜨거워질 것으로 내다봤다. 기업들은 고객과 파트너에 대한 더욱 많은 정보를 수집하고 있으며, 이를 때론 통제된 방식으로, 때론 그렇지 않은 방식으로 관리하게 될 것이다. 통제된 방식이란 데이터의 품질과 계보를 관리해 규제 기관이 그것의 출처와 모든 변형을 추적, 보고할 수 있도록 하는 것이다. 슐로이더는 기업들에게 이런 통제가 권고, 의무화되기는 하지만 때로는 커스터머 360(Customer 360)과 같은 솔루션을 활용한 용례나 더 높은 기수(cardinality), 실시간, 정형-비정형 조합을 통한 서비스 제공 등의 비-통제 용례들이 훨씬 더 효율적인 결과를 창출하는 경우도 있다고 설명했다.

● 데이터 호수라는 늪에 빠지는 것을 막고자 현업이 애플리케이션 투자 주도. 슐로이더에 따르면, 2017년 기업들은 ‘구축만 완료되면 모두가 몰려온다는’ 데이터 호수에 대한 기존의 시각에서 탈피해 좀더 현업 주도적인 데이터 접근법을 받아들여 나갈 전망이다. 오늘날 시장에서 분석, 운영 기능은 고객, 프로세스 요청, 인터페이스를 개별 차원에서 실시간으로 기기에 전달하는 도구로 활용되고 있다.

예를 들어 전자상거래 사이트의 경우 실시간 고객 맞춤 추천이나 가격 확인 등에 집중하고 있고, 의료 기관들의 경우 분석과 운영 시스템을 결합해 보험 승인과 부정 수급 차단 작업을 처리하고 있으며, 미디어 산업에서는 셋톱박스를 통한 맞춤 콘텐츠 제안, 그리고 맞춤 차량 생산, 렌트 분야에서는 차량과 운전자 간의 상호작용 강화 방안에 대한 연구가 이뤄지고 있다.

이러한 사례를 구현하기 위해서는 백오피스에서 데이터 분석 기능과 현업의 운영 기능을 아우르는 가치 발굴 과정이 요구된다. 기술적으로는 애널리틱스, 운영 프로세싱을 함께 전개할 수 있는 애자일 플랫폼이 요구되는 부분이다. 슐로이더는 2017년 기업들이 ‘질문을 던지는’ 접근법을 넘어 장·단기적 비즈니스 가치를 주도할 구조 구축에 집중할 것으로 예상했다.

● 데이터 민첩성이 성패 좌우. 슐로이더는 데브옵스(DevOp) 전략을 통해 소프트웨어 개발 과정이 좀더 지속적이고, 민첩하게 진행되고 있는 경향에 주목하고 있다. 2017년 처리 및 분석 모델은 한층 더 진화해 기업들이 데이터 민첩성(data agility, 데이터를 맥락적으로 이해하고 그에 기반을 둔 비즈니스 액션을 취하는 역량) 인지에 버금가는 수준의 민첩성을 제공하게 될 것이다. 기업들에겐 단순히 거대한 데이터 호수를 보유하는 것을 넘어, 새로운 경쟁우위의 기반을 확보하는 것이다.

슐로이더에 따르면, 애자일 프로세싱 모델(agile processing model)의 대두는 동일 데이터 인스턴스를 통한 배치 애널리틱스(batch analytics), 쌍방향 분석, 글로벌 메시징, 데이터베이스, 파일 기반 모델 지원을 가능케 할 것이다. 또한 애자일 분석 모델의 확장은 단일 데이터 인스턴스가 더 넓은 범위의 도구 모음을 지원할 수 있을 때도 구현할 수 있다. 이를 통해 기업들은 궁극적으로 광범위한 처리 및 분석 모델을 지원하는 애자일 개발과 애플리케이션 플랫폼의 확보가 가능해진다.

X