벤더 기고 | 머신러닝을 기반으로 한 자동 타겟팅 추천 시스템

ITWorld KR

머신러닝(Machine Learning), 기계학습이라 부르는 이 알고리즘은 최근 분석 전문가뿐만 아니라 일반인 사이에서도 거론될만큼 뜨거운 화두가 되고 있다. 인공지능(Artificial Intelligence)의 한 분야인 머신러닝은 컴퓨터를 학습시킴으로써 방대한 데이터를 분석해 그 결과를 예측하는 방법론으로 빅데이터 분석의 핵심 기술로 각광받고 있다.

머신러닝, 데이터 속에 숨어있는 패턴을 발견
사실 머신러닝은 50여 년 전부터 만들어진 오래된 학문이자 기술이지만 그간 인프라와 컴퓨팅 파워를 갖추기 어려웠기 때문에 사용하기가 어려웠다.

그러나 최근 컴퓨팅 기술의 폭발적인 발전과 효과적으로 적용하기 위한 이론과 실무 지식의 축적, 그리고 빅데이터 시대의 도래는 머신러닝에 대한 관심을 촉발시켰다. 특히 기업들이 기존에는 다룰 수 없었던 빅데이터를 활용하면서 기존 통계, 분석 기술로는 해결이 불가능한 문제가 발생함에 따라 새로운 기술이 필요하게 된 것이다. 여러가지 알고리즘으로 구성된 머신러닝은 데이터마이닝부터 클러스터링, 연관분석 등 여러 가지를 적용한다.

머신러닝의 장점은 데이터 속에 숨어있는 패턴을 발견해준다는 점이다. 이를 통해 인간의 사고와 분석 능력을 능가하는 엄청난 양의 데이터로부터 가치를 찾아내어 고객 경험을 높이거나 제품 추천을 제공하고, 더욱 개인화된 콘텐츠를 제공하는 것까지 달성하게 해준다.

빅데이터를 활용하는 데 앞장섰던 마케팅 분야에서도 머신러닝 도입이 잇따르고 있는데, 머신러닝 기반의 자동 타겟팅 추천 시스템은 활용이 예상되던 대표적인 분야 가운데 하나였다.

STP 전략, 세분화/타겟팅/포지셔닝
타겟팅이라는 개념은 마케팅의 STP 전략에서 나온 것으로, STP는 고객의 요구는 나날이 다양해지고 급변한다는 사실에 근거한 것이다. STP는 세분화(Segmentation), 타겟팅(Targeting), 포지셔닝(Positioning)의 약자다. STP 전략은 대부분의 구매 행위가 특정 고객 그룹에서 발생한다는 것에 착안해 해당 그룹의 요구에 맞는 마케팅 및 서비스를 진행하는 것이다.

우선 세분화에서 기준이 되는 것은 정적인 정보인 인구통계적(성별, 거주지, 소득수준, 학력, 가족수) 데이터와 동적인 정보인 구매 행동(구매 서비스 사용량, 사용내역, 추천 점수, 선호도) 데이터, 즉 사용자에 대한 다양한 경험 데이터를 통해 이뤄진다. 이 밖에 심리적, 사용상황, 추구 편익 등 이보다 다양한 기준 데이터가 있는데, 이를 모두 변수화해서 기준별도 유사도를 측정하는 것이다.

기준별로 유사한 고객들을 하나의 그룹으로 도출하는 것이 바로 세분화다. 이렇게 도출한 세분화를 선택해 필요한 마케팅이나 서비스를 제공하는 것이 타겟팅이다. 이런 다양한 사용자 경험 기반 데이터와 반응 정보를 결합하고 머신러닝을 통해 자동 타겟팅을 한다. 이를 IT 관점에서 설명하면, 정형 데이터뿐만 아니라 비정형 데이터, 반정형 데이터, 원 로그 데이터 등 여러가지 형태의 데이터들을 수집해 분석하는 것이다.

머신러닝, 추천 시스템의 신뢰도를 높이다
추천시스템은 사용자의 기존 행동을 기반으로 사용자가 앞으로 무엇을 구매할 것인지 예상되는 제품을 자동으로 검색해 제공하는 시스템이다. 이런 추천시스템은 이미 대부분의 전자상거래 업체에서 도입해 많은 효과를 보고 있다. 그러나 사용자의 제품 평가 기준이나, 구매 의사 결정에 영향을 미치는 요소를 반영하지 못해 정확도가 떨어졌다. 이런 한계를 극복하고 신뢰도를 높이기 위해 다양한 알고리즘과 통계 기반의 머신러닝을 도입한 것이다.

최근에는 개인정보 보호 문제로 인해 사용자가 누구인지를 파악하기가 상당히 힘들어졌다. 물론 독자적인 기술을 이용해 식별할 수 있는 경우도 있지만 기본적으로 사용자가 로그인을 하지 않으면 식별할 수 없다.

이런 경우, (그림 1)과 같이 사용자의 식별 여부에 따라 크게 나눠지게 되는데, 사용자 기반과 상품 기반, 그리고 통계 기반으로 추천할 수 있다.



사용자를 식별하면 당연히 사용자별로 추천해야 가장 개인화된 추천이 될 것이다. 사용자를 식별하지 못했을 때에는 관심있어 하는 상품, 사용자의 클릭이나 검색을 기반으로 연관성 있는 상품을 추천하게 된다. 통계 기반은 금주의 인기상품 등 한주동안 전체 구매 통계에서 나온 선호도에 따라 추천하는 것이다.

- 사용자 기반 추천
사용자 기반 추천은 구매 후 평가 점수에 따라 클릭한 상품을 기준으로 사용자와 비슷한 성향의 고객을 찾아 가장 좋은 평가점수 순으로 상품을 추천해준다.



사용자와 유사한 사람을 찾을 때 유사도의 기준은 앞서 설명한 성별, 나이, 직업 등 정적 정보를 활용할 수도 있지만 유사한 제품에 관심을 보이는 사람으로 평가할 수도 있다. (그림 2)와 같이 새로운 사용자가 들어와 상품1과 상품2를 구매했다면 이와 유사한 패턴을 가진 사용자 경험을 토대로 상품을 추천하는 것이 가장 적합하다고 판단하는 것이다.

- 상품 기반 추천
상품 기반 추천은 사용자가 본 상품과 유사한 아이템을 추천하는 방식으로 다른 고객의 평가를 사용해 계산 항목 사이의 유사성을 기반으로 추천한다. 만약 사용자가 구매한 상품 내역이 있다면 각 상품 간의 연관 매트릭스를 구성한다. 예를 들어 사용자가 이어폰을 구매했다면 다른 사람이 이어폰과 같이 구매한 다른 상품들을 추천하는 것이다.

앞서 설명한 것처럼 이렇게 추천하기 위해서는 유사도를 판단해야 하는데, 사실 유사도는 업종별, 구매 상황별로 상당히 다르게 적용된다. 클릭순, 구매순, 가입자순, 노출순 등 여러 가지 가중치를 부여해 선호 점수라는 하나의 수치로 일반화해서 표현할 수 있다.

예를 들어, 유통 영역에서는 구매수, 클릭수가 선호도의 기준이 되지만 구매 영역에서는 가입수, 평가, 평점 등이 되고, 의료 분야에서는 진료나 예약수와 같은 것이 하나의 선호도 점수가 될 수 있다. 일반적으로 선호 점수가 가장 적은 것을 가장 유사하다고 평가한다.
 



머신러닝 적용 프로세스
머신러닝을 적용하는 프로세스를 보면, (그림 3)과 같이 머신러닝을 통한 자동 타겟팅부터 추천의 결과 데이터를 이용해 선호 점수 및 알고리즘 변경으로 재현율/정확율을 올리는 작업을 반복한다.



우선 첫 단계에서는 각 영역에 맞는 필요한 추천 모델링을 선택한다. 이후 선호도 조사, 유사도 측정 기준을 도출하고 클릭, 구매 내역 등의 행위 데이터를 수집한다. 그리고 세분화를 기반으로 알고리즘을 적용해보고 이 알고리즘이 얼만큼 의미있게 추천되는지 시뮬레이션을 해보고 평가한다. 평가 결과에서 가장 최적화된 모델을 찾아 API를 통해 공개적으로 자료를 제공, 실제 어플라이언스에 적용한다.

한번 적용하고 끝나는 게 아니라 이 프로세스를 지속적으로 반복하면서 선호도 점수나 알고리즘을 계속 관리해 정확도를 같이 높일 수 있게 한다.

추천 레이아웃
추천 레이아웃이라는 기능은 한 마디로 기획 상품이다. 어떤 사용자가 들어오더라도 전략적으로 이 상품을 추천하겠다는 기획 상품 개념이다.

사용자가 처음 방문할 때에는 보통 로그인을 하지 않은 채로 들어온다. 이 때에는 사용자 정보도, 상품 정보도 없기 때문에 통계에 기반한 추천 상품을 먼저 보여주게 된다. 이 경우 추천할 때에는 3개의 영역에서 어떤 상품을 배치할 것인지를 수동편성과 통계기반, 추천기반 등을 적절히 조합해 구성하는데, 이런 조합이 시스템 내에 설정되어 있는 것이 아니라 사용자마다 레이아웃을 드래그 앤 드롭(drag & drop)으로 구성할 수 있다.

자동 타겟팅 추천 시스템, 와이즈 어드바이저
머신러닝 기반의 자동 타겟팅 추천 시스템인 와이즈 어드바이저(WISE Advisor)는 보다 진화된 소비자 맞춤형 상품과 콘텐츠를 추천한다.

와이즈 어드바이저는 웹로그만 수집해 추천하는 대부분의 다른 추천 시스템과는 달리 로그 데이터와 매출 데이터를 결합해 추천한다. 정형, 비정형 데이터 분석뿐만 아니라 통계 데이터까지 결합해 추천한다는 것이다. 또한 단순히 상품 추천에만 적용하는 것이 아니라 구매 주기, 연관 분석, 순차 분석 등 여러가지 알고리즘을 통해 최적화된 상품을 추천함으로써 추천의 다양성과 정확도를 향상시켰다. 정형화된 알고리즘만 적용해 추천이 어떻게 됐는지 알기 어려웠던 기존 추천 시스템과는 달리 여러 가지 알고리즘이 판단해 낸 결과를 가지고 추천 점수를 제공한다.

와이즈 어드바이저는 IBM의 대표적인 코그너티스 솔루션인 IBM 왓슨(Watson)을 SaaS 방식의 API 서비스로 제공받고 있다.

특히 IBM 왓슨 트레이드오프 애널리틱스(Tradeoff Analytics) 기능은 사용자에게 가장 적합한 검색 결과물을 가려내기 위해 여러 옵션들을 비교 분석하는 알고리즘을 제공한다. 트레이드오프 애널리틱스는 2:8 법칙이라 알려진 파레토(Pareto) 필터링이라는 통계 분석기법을 통해 사용자 각각의 특성을 고려해 최적의 검색 결과를 산출한다.

이를 통해 포트폴리오를 구성하는 것이다. 상품의 경우, IBM의 왓슨은 연이율, 가입기간, 대상, 목적, 금리 등 이런 정보들을 트레이드 오프해서 각각의 상품을 포지셔닝시키는 역할을 한다. 위세아이텍의 알고리즘은 고객과 상품을 왓슨을 통해 트레이드 분석하고 그 결과를 매칭해서 사용자에게 제공하는 역할을 한다.

위세아이텍은 IBM 왓슨의 서비스를 활용해, 다음과 같이 다양한 분야로 비즈니스를 확장할 계획이며, 이미 몇 개의 서비스는 위세아이텍 제품에 연계되어 비즈니스에 적용되고 있다.

- IBM 왓슨 트레이드오프 애널리틱스(Tradeoff Analytics): 금융권 상품추천, 유통 상품추천
- IBM 왓슨 비주얼 레코그니션(Visual Recognition): 철도 이미지 기반 사고 예측

다음의 IBM 왓슨 API는 현재 위세아이텍 제품과의 연계 테스트 및 적용 분야에 맞춘 상품 개발을 진행하고 있으며, 한글화가 완료되면 비즈니스에 바로 적용할 수 있을 것으로 예상된다.

- IBM 왓슨 리레이션십 익스트렉션(Relationship Extraction): 미디어 서비스 분야의 유사 콘텐츠 추천
- IBM 왓슨 스피치 투 텍스트(Speech to Text): 금융, 유통분야의 콜센터 이상 탐지 분석

그래서 고객 특성과 상품 유형을 고려해 세분화하고, 이를 기준으로 상품을 추천할 수 있으며, 와이즈 올랩(WISE OLAP)과 연동해 기존 데이터, 입력 데이터, 추천을 통한 결과 데이터, 이에 대한 통계 데이터 등을 상호적으로 분석할 수 있어 보다 나은 분석 결과를 제공할 수 있다.
 

데이터 분석의 종류와 발전
데이터 분석은 크게 2가지로 나눌 수 있는데, 기본적인 통계적 분석과 고급 분석이 바로 그것이다.



(그림 4)에서 통계적 분석 분야에 올랩 제품이 있으며, 이를 통해 기본적인 통계 분석이 가능하다. 과거의 사실을 이해하는 영역이 올랩이라면 조금 더 미래를 예측하는 영역으로 가면, 어떤 원인으로 발생했고, 앞으로 어떻게 될 것인가를 파악하는 것이 고급 분석으로 어드바이저에 해당한다. 어드바이저는 '다음달 매출은 오를 것인가, 내릴 것인가', '다음 달 매출을 올리기 위해서는 예산을 어떻게 분배해야 하는가', '영업을 어떻게 최적화해 수행해야 하는가'에 대한 솔루션을 제공한다.

이 2가지 제품은 상호 관계성을 갖고 있다. 과거에는 정보가 수집해 DW가 구축하고 이를 통해 올랩 분석을 했던 단계라면 이제는 좀더 나아가 머신러닝을 통해 예측하는 단계로 분석이 확대되고 있다.


와이즈 어드바이저 활용
자동 타겟팅 추천 시스템인 어드바이저를 활용할 수 있는 분야는 상당히 많다.

와이즈 어드바이저는 미디어 분야에서 이미 SMR(스마트미디어렙)에 적용, 서비스되고 있다. 이 서비스는 다양한 동영상 콘텐츠를 시청하면서 발생되는 로그정보를 실시간으로 수집해 동영상 소비패턴을 머신러닝 알고리즘으로 추천한다. 위세아이텍의 와이즈 어드바이저가 적용된 SMR(스마트미디어렙)에서는 신규 추천, 인기 추천, 연관 추천, 순차연관 추천, 아이템기반 추천, 편성기반 추천 등 총 6가지 유형으로 동영상을 추천하고 있다. 이밖에 동영상, 음악, 콘텐츠 추천, 개인화 뉴스가 가능하다.

유통 및 전자상거래 분야에서는 이미 홈앤쇼핑 쇼핑몰에 적용했는데, 상품 추천, 예상 구매 시기 추천 등을 통해 특정 마케팅을 할 수 없는 롱테일 시장에서 별다른 캠페인을 하지 않고도 사용자에게 적합한 상품을 추천함으로써 마케팅 비용을 줄이고 매출 확대를 도모할 수 있다.

특히 홈앤쇼핑은 빅데이터 다차원 분석도구인 '와이즈 올랩 블루(WISE OLAP BLU)'와의 연동을 통해 폭증하는 거래량 처리에 있어 탁월한 효과를 보였다. 와이즈 올랩 블루는 고성능의 인메모리 DBMS 인 IBM DB2BLU 와 와이즈 올랩이 최적화된 소프트웨어 어플라이언스 솔루션이다. 하드웨어 어플라이언스가 아니기 때문에, 별도의 전용 하드웨어가 아닌 일반 서버에 데이터베이스와 올랩의 구성으로 가격적인 측면에서는 1/10 정도에 불과하지만 하드웨어 어플라이언스보다 높은 성능을 보장한다.

금융 분야에서 와이즈 어드바이저는 위험관리 포트폴리오 관리, 자산관리를 해주는 기능인 로보 어드바이저(robo-advisor)와 결합해 금융자산별 대상 고객 추천, 개인화된 추천, 예금 적금 등 상품 추천을 할 수 있다.

은행의 상품 특성, 고객의 신용등급, 성향, 행위 이런 것들을 복합적으로 데이터베이스 학습을 통해 분류하고 상품 리스트, 고객 리스트를 가장 유사도가 높은 순대로 매핑해서 타겟팅을 제공하고 있다.
의료 분야에서는 고객 환자별 전문 의료 콘텐츠를 추천할 수 있으며, 공공 분야에서는 머신러닝을 기반으로 공공 데이터 개방을 추천할 수 있다.
 


회사 소개 - 위세아이텍 
1990년 10월 설립된 위세아이텍은 전통적인 토털 BI 벤더다. 2015년 매출 190억 원, 직원 수 150명, 지속적으로 주주에게 현금 배당을 실시하는 견실한 기업으로 성장하고 있다. 위세아이텍은 2010년 이후 빅데이터 솔루션 전문기업으로 발돋움해 빅데이터 분야에서 빅데이터 분석·추천, 데이터 개방, 이를 위한 데이터 거버넌스에 이르는 차별화된 제품을 하나의 통합 플랫폼으로 개발해 공급하고 있다. 

위세아이텍의 대표적인 솔루션은 ▲머신러닝 기반의 맞춤 추천 도구 '와이즈 어드바이저' ▲빅데이터 분석 시각화와 다차원 분석 도구 '와이즈 올랩' ▲데이터 표준화 관리 도구 '와이즈 메타' ▲데이터의 품질을 측정하고 평가하는 '와이즈 DQ' ▲정부 기관 등의 공공데이터 개방 도구 '와이즈 오픈' ▲고객 대상 캠페인과 이벤트 실행 반응 결과를 수집해 마케팅에 활용할 수 있게 해주는 '와이즈 캠페인' 등이 있다.
 


* 본 기고문은 위세아이텍 박재범 빅데이터사업 수석의 발표를 기반으로 작성됐다. editor@itworld.co.kr