2018.01.09

머신러닝으로 신용평가 정확도 5% 높인 '콜크레딧'

Tom Macaulay | Computerworld UK
영국의 신용평가기업 콜크레딧(Callcredit)이 채무자의 상환 능력을 파악하고 대출 사기를 방지하는 데 머신러닝 기술을 활용하고 있다. 콜크레딧은 마이크로소프트 애저 머신러닝을 기반으로 모델링을 개발했으며 대출 신청 가운데 사기 대출을 찾아내고 채무자의 부채상환능력을 좀더 정확하게 평가할 수 있게 됐다.



콜크레딧은 여러 데이터 셋을 정교하게 분석하여 대출 신청자의 상환 확률을 계산하고 있다.

지난 2000년 설립 후 영국 내 주요 신용평가업체 세 곳 중 한 곳으로 부상한 콜크레딧은 머신러닝 기술을 활용해 경쟁사를 제치고 비교 우위를 점할 수 있을 것으로 기대하고 있다.

콜크레딧은 최근 마이크로소프트 애저 머신러닝 기술의 시범 도입을 성공적으로 마쳤으며 이를 통해 미납 채무 문제로 곤란을 겪는 신용카드사들에게 수백만 파운드를 절감해 줄 수 있게 될 것이라고 밝혔다.

콜크레딧의 최고 데이터 책임자(CDO) 마크 데이빗슨은 “MS 애저를 통해 머신러닝에 심층적으로 접근하였으며, 이를 통해 과거 어느 때보다 더욱 정교하고 정확하게 분석할 수 있었다”고 강조했다.

콜크레딧, 머신러닝 기술 적용
콜크레딧은 신용평가의 정확도를 높이고 고객사에 더 나은 서비스를 제공할 수 있는 차세대 예측 툴 제작을 목표로 삼았다.

약 1년 반 전쯤, 콜크레딧은 머신러닝의 비즈니스 활용 가능성을 물색하기 시작했다.

데이빗슨은 “처음에는 모든 가능성을 열어두고 시작했다. 수많은 데이터 과학자를 만나 의견을 들었고, 그들 각자가 최적이라 생각하는 기술에 대해 의견을 구했다. 우리가 직면한 문제를 해결해 줄 수 있는 적절한 솔루션, 즉 반드시 ‘정답’을 찾겠다는 일념으로 매진했다”고 이야기했다.

최적의 기술을 찾기 위해서는 각 기술의 예측 정확도를 일일이 테스트해 보는 수밖에 없었다. 콜크레딧은 자사의 주요 서비스 업무인 신용등급 평가 및 사기 방지 모니터링 부문에서 머신러닝 기술의 정확도를 테스트했다. 이들 중 최고의 성적을 낸 모델링만을 골라 심층 분석 후 어떻게 적용할지를 고민했다.

대부분의 신용평가 기업에서 사용하는 방법은 로지스틱 회귀 분석 모델이다. 그러나 콜크레딧은 향상된 의사결정 나무(boosted decision tree) 모델이 자사에 좀더 적합한 예측 모델이라고 판단했다.

콜크레딧의 신용평가 정확도가 향상될수록 신용카드사들 역시 각자의 위험선호성향에 맞게 신용카드 발급률을 조절할 수 있게 되었다. 또한 신용카드 발급을 신청하거나, 대출을 신청하는 개인 입장에서도 더 빠르고 공정한 신용 심사를 받을 수 있게 되었다.

왜 마이크로소프트 애저인가?
콜크레딧은 약 1년에 걸쳐 여러 업체와 기술을 테스트했다. AWS, SAS, 마이크로소프트 애저 ML 등 다수의 플랫폼을 검토한 끝에 애저를 선택하게 된 것이다.

마이크로소프트를 선택한 데 대해 데이빗슨은 “마이크로소프트의 로드맵이 가장 뛰어났기 때문”이라고 밝혔다. 이어서 “마이크로소프트가 제시한 방향이 마음에 들었고, 플랫폼 및 플랫폼 내부의 모델 도입 속도 역시 시장을 주도하는 수준이었다. 그뿐만 아니라 기존에 우리 회사가 마이크로소프트의 고객사였다는 사실도 결정에 한몫했다”고 설명했다.

그는 “콜크레딧이 사용 중인 기술 중 상당수는 마이크로소프트의 것이며 그동안 만족스러운 경험을 해 왔기에 머신러닝 기술 역시 마이크로소프트의 것을 채택하게 된 것 같다”고 덧붙였다.

콜크레딧은 1년여에 걸친 시범 사용 기간을 통해 MS 애저의 기능을 심층 분석했다. 특히 불량 융자 신청(fraudulent application) 식별 기능 및 채무자의 부채상환성향 예측 기능을 중점적으로 평가했다.

이처럼 향상된 의사결정 나무로 테스트한 모델들은 로지스틱 회귀 분석 기술을 사용한 모델들보다 최소 5% 이상 더 높은 예측 정확도를 보여주었다.

이 5%의 차이가 결국 금융기관, 신용카드사에게 수백만 파운드를 절약하게 해 주고, 대출 신청자들을 사기로부터 보호해 줄 것이다.

머신러닝을 이용한 채무 불이행 감소 및 금융기관 건전성 개선
콜크레딧은 1년에 걸쳐 6만 개 카드의 전형적인 신용카드 포트폴리오를 중심으로 한 시나리오를 모델링했다.

각 카드에는 평균 3,500파운드가량의 잔고가 들어있었으며 총 융자 규모는 2억 1,000만 파운드가량이었다. 일반적으로 이들 중 약 7%가 채무를 상환하지 않는다.

애저 ML을 이용해 미상환 확률이 높은 채무자를 가려낸 결과 포트폴리오의 디폴트 레벨이 100만 파운드 이상 상승하였다.

“이러한 성과는 고객사들에게는 물론이고, 이들 고객사의 일반 소비자에게도 이득이라 할 수 있다. 무리해서 대출을 신청하지 않게 될 뿐 아니라 신용카드사 역시 좀더 건실한 융자만을 대출해 줌으로써 안전성을 키울 수 있기 때문이다”라고 데이빗슨은 말했다.

콜크레딧은 사기 대출 식별에도 머신러닝을 테스트하였다. 사기 대출이란 타인 명의로 대출을 신청하여 그 사람에게 실제 채무를 떠넘긴 채 돈을 가로채 가는 사기 수법을 말한다.

콜크레딧은 애저 ML을 활용하여 대출 신청 프로세스에서 눈에 띄는 패턴들을 식별하고 특정 대출 신청이 대출 사기인지를 가려내는 데 도움을 받았다.

그 결과가 너무 성공적인 나머지 콜크레딧은 이를 소비자 신용평가 보고서에 기재하기까지 했다.

데이빗슨은 “과거에는 사기 대출 탐지를 위해 써드파티 플랫폼을 사용했었다. 물론 이런 플랫폼도 나쁘지 않은 결과를 보여주었다. 그러나 우리가 원하는 것은 애저 ML을 이용하여 자체적인 사기 탐지 모델을 개발하는 것이었다”고 말했다.

“여러 모델을 병행 구동하여 시험해 본 결과, 자체적 내부 모델이 써드파티 모델보다 성능 면에서 뛰어나다는 판단을 내렸으며 이에 따라 모델 교체가 이뤄졌다”고 그는 전했다.


머신러닝, 다음 단계는?
콜크레딧은 현재 다양한 사용례에서 새 모델의 확장성을 테스트하고 있다. 또한 2018년 1분기 발표할 의사결정 점수표도 제작 중이다.

데이빗슨은 “올 1분기 전까지 모든 신용 리스크 평가 모델이 설치될 예정이다. 이후 문제별로 모델 테스트와 설치를 지속해 나갈 것이다. 예컨대 가격 적정성 모델, 보험 사기 모델 및 신원 확인 모델 등 다양한 모델이 있을 수 있다. 이 모든 일이 향후 12개월 이내에 일어날 것이다”라고 이야기했다.

그는 콜크레딧과 유사한 프로젝트를 진행할 계획이 있는 기업에게 “처음부터 열린 자세로 모든 모형을 다 테스트해 보고 직접 판단 내리겠다는 자세를 가져야 한다”며 다음과 같이 조언했다.

“데이터 과학자마다 선호하는 기술, 모델이 다 다르다. 따라서 어떤 모델을 택할지 미리 정해두어서는 안 된다. 한걸음 물러서서 ‘우리 회사가 해결하고자 하는 문제에 어떤 모델이 적합한지 아직은 알 수 없다’는 것을 인정해야 한다. 처음부터 어느 하나가 최선이라고 가정하고 시작하면 절대 최적의 모델을 찾을 수 없다.” ciokr@idg.co.kr
 

2018.01.09

머신러닝으로 신용평가 정확도 5% 높인 '콜크레딧'

Tom Macaulay | Computerworld UK
영국의 신용평가기업 콜크레딧(Callcredit)이 채무자의 상환 능력을 파악하고 대출 사기를 방지하는 데 머신러닝 기술을 활용하고 있다. 콜크레딧은 마이크로소프트 애저 머신러닝을 기반으로 모델링을 개발했으며 대출 신청 가운데 사기 대출을 찾아내고 채무자의 부채상환능력을 좀더 정확하게 평가할 수 있게 됐다.



콜크레딧은 여러 데이터 셋을 정교하게 분석하여 대출 신청자의 상환 확률을 계산하고 있다.

지난 2000년 설립 후 영국 내 주요 신용평가업체 세 곳 중 한 곳으로 부상한 콜크레딧은 머신러닝 기술을 활용해 경쟁사를 제치고 비교 우위를 점할 수 있을 것으로 기대하고 있다.

콜크레딧은 최근 마이크로소프트 애저 머신러닝 기술의 시범 도입을 성공적으로 마쳤으며 이를 통해 미납 채무 문제로 곤란을 겪는 신용카드사들에게 수백만 파운드를 절감해 줄 수 있게 될 것이라고 밝혔다.

콜크레딧의 최고 데이터 책임자(CDO) 마크 데이빗슨은 “MS 애저를 통해 머신러닝에 심층적으로 접근하였으며, 이를 통해 과거 어느 때보다 더욱 정교하고 정확하게 분석할 수 있었다”고 강조했다.

콜크레딧, 머신러닝 기술 적용
콜크레딧은 신용평가의 정확도를 높이고 고객사에 더 나은 서비스를 제공할 수 있는 차세대 예측 툴 제작을 목표로 삼았다.

약 1년 반 전쯤, 콜크레딧은 머신러닝의 비즈니스 활용 가능성을 물색하기 시작했다.

데이빗슨은 “처음에는 모든 가능성을 열어두고 시작했다. 수많은 데이터 과학자를 만나 의견을 들었고, 그들 각자가 최적이라 생각하는 기술에 대해 의견을 구했다. 우리가 직면한 문제를 해결해 줄 수 있는 적절한 솔루션, 즉 반드시 ‘정답’을 찾겠다는 일념으로 매진했다”고 이야기했다.

최적의 기술을 찾기 위해서는 각 기술의 예측 정확도를 일일이 테스트해 보는 수밖에 없었다. 콜크레딧은 자사의 주요 서비스 업무인 신용등급 평가 및 사기 방지 모니터링 부문에서 머신러닝 기술의 정확도를 테스트했다. 이들 중 최고의 성적을 낸 모델링만을 골라 심층 분석 후 어떻게 적용할지를 고민했다.

대부분의 신용평가 기업에서 사용하는 방법은 로지스틱 회귀 분석 모델이다. 그러나 콜크레딧은 향상된 의사결정 나무(boosted decision tree) 모델이 자사에 좀더 적합한 예측 모델이라고 판단했다.

콜크레딧의 신용평가 정확도가 향상될수록 신용카드사들 역시 각자의 위험선호성향에 맞게 신용카드 발급률을 조절할 수 있게 되었다. 또한 신용카드 발급을 신청하거나, 대출을 신청하는 개인 입장에서도 더 빠르고 공정한 신용 심사를 받을 수 있게 되었다.

왜 마이크로소프트 애저인가?
콜크레딧은 약 1년에 걸쳐 여러 업체와 기술을 테스트했다. AWS, SAS, 마이크로소프트 애저 ML 등 다수의 플랫폼을 검토한 끝에 애저를 선택하게 된 것이다.

마이크로소프트를 선택한 데 대해 데이빗슨은 “마이크로소프트의 로드맵이 가장 뛰어났기 때문”이라고 밝혔다. 이어서 “마이크로소프트가 제시한 방향이 마음에 들었고, 플랫폼 및 플랫폼 내부의 모델 도입 속도 역시 시장을 주도하는 수준이었다. 그뿐만 아니라 기존에 우리 회사가 마이크로소프트의 고객사였다는 사실도 결정에 한몫했다”고 설명했다.

그는 “콜크레딧이 사용 중인 기술 중 상당수는 마이크로소프트의 것이며 그동안 만족스러운 경험을 해 왔기에 머신러닝 기술 역시 마이크로소프트의 것을 채택하게 된 것 같다”고 덧붙였다.

콜크레딧은 1년여에 걸친 시범 사용 기간을 통해 MS 애저의 기능을 심층 분석했다. 특히 불량 융자 신청(fraudulent application) 식별 기능 및 채무자의 부채상환성향 예측 기능을 중점적으로 평가했다.

이처럼 향상된 의사결정 나무로 테스트한 모델들은 로지스틱 회귀 분석 기술을 사용한 모델들보다 최소 5% 이상 더 높은 예측 정확도를 보여주었다.

이 5%의 차이가 결국 금융기관, 신용카드사에게 수백만 파운드를 절약하게 해 주고, 대출 신청자들을 사기로부터 보호해 줄 것이다.

머신러닝을 이용한 채무 불이행 감소 및 금융기관 건전성 개선
콜크레딧은 1년에 걸쳐 6만 개 카드의 전형적인 신용카드 포트폴리오를 중심으로 한 시나리오를 모델링했다.

각 카드에는 평균 3,500파운드가량의 잔고가 들어있었으며 총 융자 규모는 2억 1,000만 파운드가량이었다. 일반적으로 이들 중 약 7%가 채무를 상환하지 않는다.

애저 ML을 이용해 미상환 확률이 높은 채무자를 가려낸 결과 포트폴리오의 디폴트 레벨이 100만 파운드 이상 상승하였다.

“이러한 성과는 고객사들에게는 물론이고, 이들 고객사의 일반 소비자에게도 이득이라 할 수 있다. 무리해서 대출을 신청하지 않게 될 뿐 아니라 신용카드사 역시 좀더 건실한 융자만을 대출해 줌으로써 안전성을 키울 수 있기 때문이다”라고 데이빗슨은 말했다.

콜크레딧은 사기 대출 식별에도 머신러닝을 테스트하였다. 사기 대출이란 타인 명의로 대출을 신청하여 그 사람에게 실제 채무를 떠넘긴 채 돈을 가로채 가는 사기 수법을 말한다.

콜크레딧은 애저 ML을 활용하여 대출 신청 프로세스에서 눈에 띄는 패턴들을 식별하고 특정 대출 신청이 대출 사기인지를 가려내는 데 도움을 받았다.

그 결과가 너무 성공적인 나머지 콜크레딧은 이를 소비자 신용평가 보고서에 기재하기까지 했다.

데이빗슨은 “과거에는 사기 대출 탐지를 위해 써드파티 플랫폼을 사용했었다. 물론 이런 플랫폼도 나쁘지 않은 결과를 보여주었다. 그러나 우리가 원하는 것은 애저 ML을 이용하여 자체적인 사기 탐지 모델을 개발하는 것이었다”고 말했다.

“여러 모델을 병행 구동하여 시험해 본 결과, 자체적 내부 모델이 써드파티 모델보다 성능 면에서 뛰어나다는 판단을 내렸으며 이에 따라 모델 교체가 이뤄졌다”고 그는 전했다.


머신러닝, 다음 단계는?
콜크레딧은 현재 다양한 사용례에서 새 모델의 확장성을 테스트하고 있다. 또한 2018년 1분기 발표할 의사결정 점수표도 제작 중이다.

데이빗슨은 “올 1분기 전까지 모든 신용 리스크 평가 모델이 설치될 예정이다. 이후 문제별로 모델 테스트와 설치를 지속해 나갈 것이다. 예컨대 가격 적정성 모델, 보험 사기 모델 및 신원 확인 모델 등 다양한 모델이 있을 수 있다. 이 모든 일이 향후 12개월 이내에 일어날 것이다”라고 이야기했다.

그는 콜크레딧과 유사한 프로젝트를 진행할 계획이 있는 기업에게 “처음부터 열린 자세로 모든 모형을 다 테스트해 보고 직접 판단 내리겠다는 자세를 가져야 한다”며 다음과 같이 조언했다.

“데이터 과학자마다 선호하는 기술, 모델이 다 다르다. 따라서 어떤 모델을 택할지 미리 정해두어서는 안 된다. 한걸음 물러서서 ‘우리 회사가 해결하고자 하는 문제에 어떤 모델이 적합한지 아직은 알 수 없다’는 것을 인정해야 한다. 처음부터 어느 하나가 최선이라고 가정하고 시작하면 절대 최적의 모델을 찾을 수 없다.” ciokr@idg.co.kr
 

X