2016.07.05

벤더 기고 | 머신러닝을 기반으로 한 자동 타겟팅 추천 시스템

편집부 | ITWorld KR



머신러닝 적용 프로세스
머신러닝을 적용하는 프로세스를 보면, (그림 3)과 같이 머신러닝을 통한 자동 타겟팅부터 추천의 결과 데이터를 이용해 선호 점수 및 알고리즘 변경으로 재현율/정확율을 올리는 작업을 반복한다.



우선 첫 단계에서는 각 영역에 맞는 필요한 추천 모델링을 선택한다. 이후 선호도 조사, 유사도 측정 기준을 도출하고 클릭, 구매 내역 등의 행위 데이터를 수집한다. 그리고 세분화를 기반으로 알고리즘을 적용해보고 이 알고리즘이 얼만큼 의미있게 추천되는지 시뮬레이션을 해보고 평가한다. 평가 결과에서 가장 최적화된 모델을 찾아 API를 통해 공개적으로 자료를 제공, 실제 어플라이언스에 적용한다.

한번 적용하고 끝나는 게 아니라 이 프로세스를 지속적으로 반복하면서 선호도 점수나 알고리즘을 계속 관리해 정확도를 같이 높일 수 있게 한다.

추천 레이아웃
추천 레이아웃이라는 기능은 한 마디로 기획 상품이다. 어떤 사용자가 들어오더라도 전략적으로 이 상품을 추천하겠다는 기획 상품 개념이다.

사용자가 처음 방문할 때에는 보통 로그인을 하지 않은 채로 들어온다. 이 때에는 사용자 정보도, 상품 정보도 없기 때문에 통계에 기반한 추천 상품을 먼저 보여주게 된다. 이 경우 추천할 때에는 3개의 영역에서 어떤 상품을 배치할 것인지를 수동편성과 통계기반, 추천기반 등을 적절히 조합해 구성하는데, 이런 조합이 시스템 내에 설정되어 있는 것이 아니라 사용자마다 레이아웃을 드래그 앤 드롭(drag & drop)으로 구성할 수 있다.

자동 타겟팅 추천 시스템, 와이즈 어드바이저
머신러닝 기반의 자동 타겟팅 추천 시스템인 와이즈 어드바이저(WISE Advisor)는 보다 진화된 소비자 맞춤형 상품과 콘텐츠를 추천한다.

와이즈 어드바이저는 웹로그만 수집해 추천하는 대부분의 다른 추천 시스템과는 달리 로그 데이터와 매출 데이터를 결합해 추천한다. 정형, 비정형 데이터 분석뿐만 아니라 통계 데이터까지 결합해 추천한다는 것이다. 또한 단순히 상품 추천에만 적용하는 것이 아니라 구매 주기, 연관 분석, 순차 분석 등 여러가지 알고리즘을 통해 최적화된 상품을 추천함으로써 추천의 다양성과 정확도를 향상시켰다. 정형화된 알고리즘만 적용해 추천이 어떻게 됐는지 알기 어려웠던 기존 추천 시스템과는 달리 여러 가지 알고리즘이 판단해 낸 결과를 가지고 추천 점수를 제공한다.

와이즈 어드바이저는 IBM의 대표적인 코그너티스 솔루션인 IBM 왓슨(Watson)을 SaaS 방식의 API 서비스로 제공받고 있다.

특히 IBM 왓슨 트레이드오프 애널리틱스(Tradeoff Analytics) 기능은 사용자에게 가장 적합한 검색 결과물을 가려내기 위해 여러 옵션들을 비교 분석하는 알고리즘을 제공한다. 트레이드오프 애널리틱스는 2:8 법칙이라 알려진 파레토(Pareto) 필터링이라는 통계 분석기법을 통해 사용자 각각의 특성을 고려해 최적의 검색 결과를 산출한다.

이를 통해 포트폴리오를 구성하는 것이다. 상품의 경우, IBM의 왓슨은 연이율, 가입기간, 대상, 목적, 금리 등 이런 정보들을 트레이드 오프해서 각각의 상품을 포지셔닝시키는 역할을 한다. 위세아이텍의 알고리즘은 고객과 상품을 왓슨을 통해 트레이드 분석하고 그 결과를 매칭해서 사용자에게 제공하는 역할을 한다.

위세아이텍은 IBM 왓슨의 서비스를 활용해, 다음과 같이 다양한 분야로 비즈니스를 확장할 계획이며, 이미 몇 개의 서비스는 위세아이텍 제품에 연계되어 비즈니스에 적용되고 있다.

- IBM 왓슨 트레이드오프 애널리틱스(Tradeoff Analytics): 금융권 상품추천, 유통 상품추천
- IBM 왓슨 비주얼 레코그니션(Visual Recognition): 철도 이미지 기반 사고 예측

다음의 IBM 왓슨 API는 현재 위세아이텍 제품과의 연계 테스트 및 적용 분야에 맞춘 상품 개발을 진행하고 있으며, 한글화가 완료되면 비즈니스에 바로 적용할 수 있을 것으로 예상된다.

- IBM 왓슨 리레이션십 익스트렉션(Relationship Extraction): 미디어 서비스 분야의 유사 콘텐츠 추천
- IBM 왓슨 스피치 투 텍스트(Speech to Text): 금융, 유통분야의 콜센터 이상 탐지 분석

그래서 고객 특성과 상품 유형을 고려해 세분화하고, 이를 기준으로 상품을 추천할 수 있으며, 와이즈 올랩(WISE OLAP)과 연동해 기존 데이터, 입력 데이터, 추천을 통한 결과 데이터, 이에 대한 통계 데이터 등을 상호적으로 분석할 수 있어 보다 나은 분석 결과를 제공할 수 있다.
 

데이터 분석의 종류와 발전
데이터 분석은 크게 2가지로 나눌 수 있는데, 기본적인 통계적 분석과 고급 분석이 바로 그것이다.



(그림 4)에서 통계적 분석 분야에 올랩 제품이 있으며, 이를 통해 기본적인 통계 분석이 가능하다. 과거의 사실을 이해하는 영역이 올랩이라면 조금 더 미래를 예측하는 영역으로 가면, 어떤 원인으로 발생했고, 앞으로 어떻게 될 것인가를 파악하는 것이 고급 분석으로 어드바이저에 해당한다. 어드바이저는 '다음달 매출은 오를 것인가, 내릴 것인가', '다음 달 매출을 올리기 위해서는 예산을 어떻게 분배해야 하는가', '영업을 어떻게 최적화해 수행해야 하는가'에 대한 솔루션을 제공한다.

이 2가지 제품은 상호 관계성을 갖고 있다. 과거에는 정보가 수집해 DW가 구축하고 이를 통해 올랩 분석을 했던 단계라면 이제는 좀더 나아가 머신러닝을 통해 예측하는 단계로 분석이 확대되고 있다.


와이즈 어드바이저 활용
자동 타겟팅 추천 시스템인 어드바이저를 활용할 수 있는 분야는 상당히 많다.

와이즈 어드바이저는 미디어 분야에서 이미 SMR(스마트미디어렙)에 적용, 서비스되고 있다. 이 서비스는 다양한 동영상 콘텐츠를 시청하면서 발생되는 로그정보를 실시간으로 수집해 동영상 소비패턴을 머신러닝 알고리즘으로 추천한다. 위세아이텍의 와이즈 어드바이저가 적용된 SMR(스마트미디어렙)에서는 신규 추천, 인기 추천, 연관 추천, 순차연관 추천, 아이템기반 추천, 편성기반 추천 등 총 6가지 유형으로 동영상을 추천하고 있다. 이밖에 동영상, 음악, 콘텐츠 추천, 개인화 뉴스가 가능하다.

유통 및 전자상거래 분야에서는 이미 홈앤쇼핑 쇼핑몰에 적용했는데, 상품 추천, 예상 구매 시기 추천 등을 통해 특정 마케팅을 할 수 없는 롱테일 시장에서 별다른 캠페인을 하지 않고도 사용자에게 적합한 상품을 추천함으로써 마케팅 비용을 줄이고 매출 확대를 도모할 수 있다.

특히 홈앤쇼핑은 빅데이터 다차원 분석도구인 '와이즈 올랩 블루(WISE OLAP BLU)'와의 연동을 통해 폭증하는 거래량 처리에 있어 탁월한 효과를 보였다. 와이즈 올랩 블루는 고성능의 인메모리 DBMS 인 IBM DB2BLU 와 와이즈 올랩이 최적화된 소프트웨어 어플라이언스 솔루션이다. 하드웨어 어플라이언스가 아니기 때문에, 별도의 전용 하드웨어가 아닌 일반 서버에 데이터베이스와 올랩의 구성으로 가격적인 측면에서는 1/10 정도에 불과하지만 하드웨어 어플라이언스보다 높은 성능을 보장한다.

금융 분야에서 와이즈 어드바이저는 위험관리 포트폴리오 관리, 자산관리를 해주는 기능인 로보 어드바이저(robo-advisor)와 결합해 금융자산별 대상 고객 추천, 개인화된 추천, 예금 적금 등 상품 추천을 할 수 있다.

은행의 상품 특성, 고객의 신용등급, 성향, 행위 이런 것들을 복합적으로 데이터베이스 학습을 통해 분류하고 상품 리스트, 고객 리스트를 가장 유사도가 높은 순대로 매핑해서 타겟팅을 제공하고 있다.
의료 분야에서는 고객 환자별 전문 의료 콘텐츠를 추천할 수 있으며, 공공 분야에서는 머신러닝을 기반으로 공공 데이터 개방을 추천할 수 있다.
 


회사 소개 - 위세아이텍 
1990년 10월 설립된 위세아이텍은 전통적인 토털 BI 벤더다. 2015년 매출 190억 원, 직원 수 150명, 지속적으로 주주에게 현금 배당을 실시하는 견실한 기업으로 성장하고 있다. 위세아이텍은 2010년 이후 빅데이터 솔루션 전문기업으로 발돋움해 빅데이터 분야에서 빅데이터 분석·추천, 데이터 개방, 이를 위한 데이터 거버넌스에 이르는 차별화된 제품을 하나의 통합 플랫폼으로 개발해 공급하고 있다. 

위세아이텍의 대표적인 솔루션은 ▲머신러닝 기반의 맞춤 추천 도구 '와이즈 어드바이저' ▲빅데이터 분석 시각화와 다차원 분석 도구 '와이즈 올랩' ▲데이터 표준화 관리 도구 '와이즈 메타' ▲데이터의 품질을 측정하고 평가하는 '와이즈 DQ' ▲정부 기관 등의 공공데이터 개방 도구 '와이즈 오픈' ▲고객 대상 캠페인과 이벤트 실행 반응 결과를 수집해 마케팅에 활용할 수 있게 해주는 '와이즈 캠페인' 등이 있다.
 


* 본 기고문은 위세아이텍 박재범 빅데이터사업 수석의 발표를 기반으로 작성됐다. editor@itworld.co.kr

2016.07.05

벤더 기고 | 머신러닝을 기반으로 한 자동 타겟팅 추천 시스템

편집부 | ITWorld KR



머신러닝 적용 프로세스
머신러닝을 적용하는 프로세스를 보면, (그림 3)과 같이 머신러닝을 통한 자동 타겟팅부터 추천의 결과 데이터를 이용해 선호 점수 및 알고리즘 변경으로 재현율/정확율을 올리는 작업을 반복한다.



우선 첫 단계에서는 각 영역에 맞는 필요한 추천 모델링을 선택한다. 이후 선호도 조사, 유사도 측정 기준을 도출하고 클릭, 구매 내역 등의 행위 데이터를 수집한다. 그리고 세분화를 기반으로 알고리즘을 적용해보고 이 알고리즘이 얼만큼 의미있게 추천되는지 시뮬레이션을 해보고 평가한다. 평가 결과에서 가장 최적화된 모델을 찾아 API를 통해 공개적으로 자료를 제공, 실제 어플라이언스에 적용한다.

한번 적용하고 끝나는 게 아니라 이 프로세스를 지속적으로 반복하면서 선호도 점수나 알고리즘을 계속 관리해 정확도를 같이 높일 수 있게 한다.

추천 레이아웃
추천 레이아웃이라는 기능은 한 마디로 기획 상품이다. 어떤 사용자가 들어오더라도 전략적으로 이 상품을 추천하겠다는 기획 상품 개념이다.

사용자가 처음 방문할 때에는 보통 로그인을 하지 않은 채로 들어온다. 이 때에는 사용자 정보도, 상품 정보도 없기 때문에 통계에 기반한 추천 상품을 먼저 보여주게 된다. 이 경우 추천할 때에는 3개의 영역에서 어떤 상품을 배치할 것인지를 수동편성과 통계기반, 추천기반 등을 적절히 조합해 구성하는데, 이런 조합이 시스템 내에 설정되어 있는 것이 아니라 사용자마다 레이아웃을 드래그 앤 드롭(drag & drop)으로 구성할 수 있다.

자동 타겟팅 추천 시스템, 와이즈 어드바이저
머신러닝 기반의 자동 타겟팅 추천 시스템인 와이즈 어드바이저(WISE Advisor)는 보다 진화된 소비자 맞춤형 상품과 콘텐츠를 추천한다.

와이즈 어드바이저는 웹로그만 수집해 추천하는 대부분의 다른 추천 시스템과는 달리 로그 데이터와 매출 데이터를 결합해 추천한다. 정형, 비정형 데이터 분석뿐만 아니라 통계 데이터까지 결합해 추천한다는 것이다. 또한 단순히 상품 추천에만 적용하는 것이 아니라 구매 주기, 연관 분석, 순차 분석 등 여러가지 알고리즘을 통해 최적화된 상품을 추천함으로써 추천의 다양성과 정확도를 향상시켰다. 정형화된 알고리즘만 적용해 추천이 어떻게 됐는지 알기 어려웠던 기존 추천 시스템과는 달리 여러 가지 알고리즘이 판단해 낸 결과를 가지고 추천 점수를 제공한다.

와이즈 어드바이저는 IBM의 대표적인 코그너티스 솔루션인 IBM 왓슨(Watson)을 SaaS 방식의 API 서비스로 제공받고 있다.

특히 IBM 왓슨 트레이드오프 애널리틱스(Tradeoff Analytics) 기능은 사용자에게 가장 적합한 검색 결과물을 가려내기 위해 여러 옵션들을 비교 분석하는 알고리즘을 제공한다. 트레이드오프 애널리틱스는 2:8 법칙이라 알려진 파레토(Pareto) 필터링이라는 통계 분석기법을 통해 사용자 각각의 특성을 고려해 최적의 검색 결과를 산출한다.

이를 통해 포트폴리오를 구성하는 것이다. 상품의 경우, IBM의 왓슨은 연이율, 가입기간, 대상, 목적, 금리 등 이런 정보들을 트레이드 오프해서 각각의 상품을 포지셔닝시키는 역할을 한다. 위세아이텍의 알고리즘은 고객과 상품을 왓슨을 통해 트레이드 분석하고 그 결과를 매칭해서 사용자에게 제공하는 역할을 한다.

위세아이텍은 IBM 왓슨의 서비스를 활용해, 다음과 같이 다양한 분야로 비즈니스를 확장할 계획이며, 이미 몇 개의 서비스는 위세아이텍 제품에 연계되어 비즈니스에 적용되고 있다.

- IBM 왓슨 트레이드오프 애널리틱스(Tradeoff Analytics): 금융권 상품추천, 유통 상품추천
- IBM 왓슨 비주얼 레코그니션(Visual Recognition): 철도 이미지 기반 사고 예측

다음의 IBM 왓슨 API는 현재 위세아이텍 제품과의 연계 테스트 및 적용 분야에 맞춘 상품 개발을 진행하고 있으며, 한글화가 완료되면 비즈니스에 바로 적용할 수 있을 것으로 예상된다.

- IBM 왓슨 리레이션십 익스트렉션(Relationship Extraction): 미디어 서비스 분야의 유사 콘텐츠 추천
- IBM 왓슨 스피치 투 텍스트(Speech to Text): 금융, 유통분야의 콜센터 이상 탐지 분석

그래서 고객 특성과 상품 유형을 고려해 세분화하고, 이를 기준으로 상품을 추천할 수 있으며, 와이즈 올랩(WISE OLAP)과 연동해 기존 데이터, 입력 데이터, 추천을 통한 결과 데이터, 이에 대한 통계 데이터 등을 상호적으로 분석할 수 있어 보다 나은 분석 결과를 제공할 수 있다.
 

데이터 분석의 종류와 발전
데이터 분석은 크게 2가지로 나눌 수 있는데, 기본적인 통계적 분석과 고급 분석이 바로 그것이다.



(그림 4)에서 통계적 분석 분야에 올랩 제품이 있으며, 이를 통해 기본적인 통계 분석이 가능하다. 과거의 사실을 이해하는 영역이 올랩이라면 조금 더 미래를 예측하는 영역으로 가면, 어떤 원인으로 발생했고, 앞으로 어떻게 될 것인가를 파악하는 것이 고급 분석으로 어드바이저에 해당한다. 어드바이저는 '다음달 매출은 오를 것인가, 내릴 것인가', '다음 달 매출을 올리기 위해서는 예산을 어떻게 분배해야 하는가', '영업을 어떻게 최적화해 수행해야 하는가'에 대한 솔루션을 제공한다.

이 2가지 제품은 상호 관계성을 갖고 있다. 과거에는 정보가 수집해 DW가 구축하고 이를 통해 올랩 분석을 했던 단계라면 이제는 좀더 나아가 머신러닝을 통해 예측하는 단계로 분석이 확대되고 있다.


와이즈 어드바이저 활용
자동 타겟팅 추천 시스템인 어드바이저를 활용할 수 있는 분야는 상당히 많다.

와이즈 어드바이저는 미디어 분야에서 이미 SMR(스마트미디어렙)에 적용, 서비스되고 있다. 이 서비스는 다양한 동영상 콘텐츠를 시청하면서 발생되는 로그정보를 실시간으로 수집해 동영상 소비패턴을 머신러닝 알고리즘으로 추천한다. 위세아이텍의 와이즈 어드바이저가 적용된 SMR(스마트미디어렙)에서는 신규 추천, 인기 추천, 연관 추천, 순차연관 추천, 아이템기반 추천, 편성기반 추천 등 총 6가지 유형으로 동영상을 추천하고 있다. 이밖에 동영상, 음악, 콘텐츠 추천, 개인화 뉴스가 가능하다.

유통 및 전자상거래 분야에서는 이미 홈앤쇼핑 쇼핑몰에 적용했는데, 상품 추천, 예상 구매 시기 추천 등을 통해 특정 마케팅을 할 수 없는 롱테일 시장에서 별다른 캠페인을 하지 않고도 사용자에게 적합한 상품을 추천함으로써 마케팅 비용을 줄이고 매출 확대를 도모할 수 있다.

특히 홈앤쇼핑은 빅데이터 다차원 분석도구인 '와이즈 올랩 블루(WISE OLAP BLU)'와의 연동을 통해 폭증하는 거래량 처리에 있어 탁월한 효과를 보였다. 와이즈 올랩 블루는 고성능의 인메모리 DBMS 인 IBM DB2BLU 와 와이즈 올랩이 최적화된 소프트웨어 어플라이언스 솔루션이다. 하드웨어 어플라이언스가 아니기 때문에, 별도의 전용 하드웨어가 아닌 일반 서버에 데이터베이스와 올랩의 구성으로 가격적인 측면에서는 1/10 정도에 불과하지만 하드웨어 어플라이언스보다 높은 성능을 보장한다.

금융 분야에서 와이즈 어드바이저는 위험관리 포트폴리오 관리, 자산관리를 해주는 기능인 로보 어드바이저(robo-advisor)와 결합해 금융자산별 대상 고객 추천, 개인화된 추천, 예금 적금 등 상품 추천을 할 수 있다.

은행의 상품 특성, 고객의 신용등급, 성향, 행위 이런 것들을 복합적으로 데이터베이스 학습을 통해 분류하고 상품 리스트, 고객 리스트를 가장 유사도가 높은 순대로 매핑해서 타겟팅을 제공하고 있다.
의료 분야에서는 고객 환자별 전문 의료 콘텐츠를 추천할 수 있으며, 공공 분야에서는 머신러닝을 기반으로 공공 데이터 개방을 추천할 수 있다.
 


회사 소개 - 위세아이텍 
1990년 10월 설립된 위세아이텍은 전통적인 토털 BI 벤더다. 2015년 매출 190억 원, 직원 수 150명, 지속적으로 주주에게 현금 배당을 실시하는 견실한 기업으로 성장하고 있다. 위세아이텍은 2010년 이후 빅데이터 솔루션 전문기업으로 발돋움해 빅데이터 분야에서 빅데이터 분석·추천, 데이터 개방, 이를 위한 데이터 거버넌스에 이르는 차별화된 제품을 하나의 통합 플랫폼으로 개발해 공급하고 있다. 

위세아이텍의 대표적인 솔루션은 ▲머신러닝 기반의 맞춤 추천 도구 '와이즈 어드바이저' ▲빅데이터 분석 시각화와 다차원 분석 도구 '와이즈 올랩' ▲데이터 표준화 관리 도구 '와이즈 메타' ▲데이터의 품질을 측정하고 평가하는 '와이즈 DQ' ▲정부 기관 등의 공공데이터 개방 도구 '와이즈 오픈' ▲고객 대상 캠페인과 이벤트 실행 반응 결과를 수집해 마케팅에 활용할 수 있게 해주는 '와이즈 캠페인' 등이 있다.
 


* 본 기고문은 위세아이텍 박재범 빅데이터사업 수석의 발표를 기반으로 작성됐다. editor@itworld.co.kr

X