2017.07.10

AI의 '블랙박스'를 어디까지 신뢰할 수 있을까?

Clint Boulton | CIO
많은 대기업들이 인공지능을 수용하고 있다. 고객 요청을 처리하는 봇을 구현하고, 비즈니스 프로세스를 자동화 할 알고리즘을 탐구한다. 그러나 스스로 학습을 하는 소프트웨어로 효율성을 높일 수 있다고 판단하는 CIO가 있는 반면, AI에 지나치게 많은 운영을 떠넘기는 것을 경계하는 CIO들도 있다. 아직은 알고리즘이 결론에 도달하는 방법과 과정을 규명하기 어렵다는 이유에서다.

특히 금융 서비스와 자율주행 자동차 관련 산업 등 규제가 심한 업종의 CIO들이 이런 '블랙박스 문제'와 힘겹게 씨름하고 있다. 자율주행 자동차가 테스트 중에 갑자기 도로를 이탈할 경우, 엔지니어는 그 이유와 과정을 파악해야 한다. 유사하게 고객들의 신용 위험 심사에 AI를 사용하려는 금융 서비스 회사들은 자격 평가에 편향이 발생하지 않도록 주의를 기울여야 한다. 이런 위험성 때문에, AI의 예측을 검사하고, 더 나아가 설명할 방법을 찾는 기업들이 증가하고 있다.

비즈니스 프로세스를 자동화할 수 있도록 개발된 소프트웨어 대부분에는 프로그래밍이 가능한 논리가 포함되어 있다. 즉 프로그래머가 지시한 일을 한다. 그러나 '자동화 2세대'의 시대에는 스스로 학습할 수 있는 소프트웨어가 '핵심'이다. 소프트웨어가 패턴을 파악하는 방식, 결과를 관찰하는 방식을 명확히 이해하지 못하는 규제 산업의 기업들은 이런 머신을 얼마나 신뢰해야 할지 의구심을 가질 수밖에 없다.



AI의 '원동력'이면서 '도전과제'인 빅데이터
AI는 상황을 인식하고, 계획 및 학습을 하고, 인간이나 다른 동물의 타고난 지능을 흉내내는 다양한 인지 기술(Cognitive Technologies)로 구성되어 있다. 금방 손에 잡힐 듯 했지만 실제 잡히지 않는 기술이었기에 장기간 연구가 이뤄졌다.

그러다 컴퓨팅 파워가 증가하고, 알고리즘과 AI 모델이 더 정교해지고, 연결된 장치가 매일 수 많은 데이터를 생성하면서 자율 기술이 '캄브리아기 대폭발'을 일으켰다. 자율주행 자동차는 복잡한 길을 스스로 주행해 헤쳐 나갈 수 있고, 봇은 사람의 말을 흉내 낼 수 있다. 이에 기업들이 투자를 확대했다. IDC는 기업이 인지 시스템과 AI를 도입하면서 관련 시장의 글로벌 매출이 2016년 80억 달러에서 2020년에는 470억 달러 이상으로 증가할 것으로 내다보고 있다.

기술과 학습 능력은 빠른 속도로 성장하고 있지만 이에 상응해 복잡성도 커지고 있다. 많은 기업이 사용하고 있는 AI의 가장 중요한 하위 기술인 머신러닝과 딥러닝은 사람의 뇌 신경망을 모델화 한 신경망, 상호 연결된 노드이다. 이들 기술이 더욱 강력해지면서, 자기 학습 시스템 신경망 내부의 수 많은 연결을 '분석'하는 것은 둘째치고 추적하는 것조차 불가능해진다.

이는 질문 하나를 제기한다. '알고리즘은 공평한 대출에 대한 규칙을 위반하지 않으면서, 기존 주택 소유주가 30년 모기지(주택 담보 대출)를 상환할 수 있는지 알려줄 수 있을까? 우리가 이런 부분과 관련해 알고리즘을 믿을 수 있을까?'라는 질문이다.

페니매(Fannie Mae)의 운영 및 기술 책임자인 브루스 리에 따르면, 이는 규제 당국에게 AI가 내린 결정을 더 정확히 설명할 수 있어야 하는 페니매 같은 모기지 회사들이 풀어야 할 질문이다. 네스트(Nest) 온도조절기 같은 제품을 사용해 전기 요금을 관리하는 주택 소유주가 모기 상황에 쓸 현금 흐름에 더 여유가 있다고 논리적으로 추론할 수 있을지 모른다. 그러나 AI가 이를 자격 조건으로 포함시키도록 만드는 것은 규제 당국의 시각에서는 문제의 소지가 있다.

리는 "공정한 대출에 대한 규칙에서 표본의 편향에 대한 문제 없이, 네스트를 사용하는 사람들에게 더 나은 이자율의 대출 상품을 제공할 수 있을까? (분명히 AI가 활용될 분야인) 신용 및 대출 결정에 AI를 활용하기 위해 넘어야 할 규제적 장애물이 아주 많다. 우리가 하고 있는 일 중에는 부적절한 편향이 발생하지 않도록 만들고, 주택 시장 인프라에 이익이 발생하도록 만드는 철저한 검증과 관련된 일들이 많다. 특히 AI의 경우 설명이 가능해야 한다"라고 강조했다.

'설명 가능한 AI'(explainable AI)란 의사 결정과 결론, 예측을 하는 AI의 자격과 적격성을 논리적으로 판단할 수 있어야 한다는 의미이다. 리는 데이터를 구체적인 질문과 답으로 표시할 때 사용하는 차트와 분석 등에 대해 광범위하면서도 자세한 설명을 제공하는 쏘우트스폿(ThoughtSopot)의 소프트웨어가 도움이 될 수 있다고 설명했다.

금융 서비스에서 이런 기능은 AI의 '요건' 중 하나이다. 리는 "인종적인 편견 등 편견과 편향 없이 의사 결정을 내리도록 직원들을 훈련시키는 방법을 설명하듯, AI에 대해서도 같은 설명을 할 수 있어야 한다"라고 말했다.

-> "설명 가능한 AI? 정확성 보장 어렵다" 구글 연구 책임자

'설명 가능한 AI' 논란
학계 일각에서는 '설명 가능한 AI'가 필요하다며 우려하고 있다. 그러나 '머신러닝으로 새로운 자동화의 물결을 견인하는 방법'에 대한 책을 공동 저술한 MIT의 수석 연구 과학자인 앤드류 맥아피(Andrew McAfee)는 이를 우려하는 학자가 아니다.

맥아피는 지난 5월 MIT 슬론 경영 대학원의 CIO 심포지움에 AI 패널로 참석, AI가 내린 결론이 적절한지 검증할 수 있는 능력이 없는 것에 대한 질문을 받았다. 그는 이에 대해 "많은 사람들이 걱정하고 있다. 그러나 나는 사람을 예로 들어 이런 우려를 반박한다. 다시 말해, 사람은 자신이 내린 결정이나 예측을 설명할 수 있다. 그러나 이 설명이 틀린 경우가 많다. 우리 스스로의 지식에도 접근하지 못하고 있다. 이런 이유로 (나는) 다른 사람들보다 AI 블랙 박스를 적게 걱정한다"라고 대답했다. 그는 AI 설명에 규제적 장애물을 끼워 넣는 것은 시장 경제 발전에 방해가 된다고 덧붙였다.

그러나 맥아피와 함께 <머신, 플랫폼, 클라우드: 디지털 미래를 활용(Machine, Platform, Crowd: Harnessing Our Digital Future)>이라는 신간을 공동 저술한 MIT 경영 대학원의 에릭 브리뇰프슨 교수는 머신이 논거 과정을 설명할 수 없다면, 사람과 머신의 협력이 더 힘들어진다고 인정했다.

브리뇰프슨은 "이런 종류의 레버리지를 갖기 원하는 영역이 아직도 많다. 그러나 수 많은 연결이 특징인 머신의 경우, 이 특정한 '가중합'이 의사 결정을 견인했다고 자신 있게 말하기 어려운 실정이다"라고 설명했다.

MIT 심포지움에 참석한 IT 중역 한 명은 AI가 자신의 비즈니스에 중요하다는 점을 인정했지만, 동시에 AI 기술에 경계심을 드러냈다.

TIAA의 스콧 브랜드포드 최고 디지털 책임자(CDO)는 기업들이 AI 블랙박스 문제를 우려해야 한다고 강조했다. 사람의 삶에 영향을 주는 의사 결정을 내릴 경우, 확실성을 보장할 필요가 있기 때문이다.

그는 TIAA의 경우 디지털 비즈니스 운영을 모니터하기 위해 구축한 분석 시스템을 강화하는 데 AI를 활용할 수 있음에도 불구하고, 추가 테스트와 검증 전에는 이를 활용하지 않을 작정이라고 설명했다. 브랜드포드는 "지금 당장은 입증된 기술만 계속 사용할 계획"이라고 덧붙였다.

GE의 짐 파울러 CIO는 기술이 사용되는 상황이 '설명 가능한 AI'에 영향을 줄 것이라고 말했다. 예를 들어, 미수금 계정을 더 효율적으로 처리할 수 있도록 도움을 주는 자기 학습 소프트웨어에는 설명이 필요 없다. 그러나 제트 엔진과 관련된 알고리즘은 이를 적용하기 전에 원리와 과정을 완벽히 이해해야 한다고 그는 강조했다.

파울러는 "AI의 목적과 사용 환경을 감안해야 한다. 이것이 AI에 대한 설명과 이해를 얼마나 중시할지 결정한다. 테스트가 가능해야 하고, 규제 당국에 이를 보여줄 수 있어야 하고, 스스로 테스트와 입증을 확신할 수 있어야 하는 프로세스가 많다. 생명과 관련이 있는데, 계속 바뀌는 알고리즘이 있다고 가정하자. 이 '블랙박스'를 신뢰하기는 어렵다"라고 말했다. ciokr@idg.co.kr 
2017.07.10

AI의 '블랙박스'를 어디까지 신뢰할 수 있을까?

Clint Boulton | CIO
많은 대기업들이 인공지능을 수용하고 있다. 고객 요청을 처리하는 봇을 구현하고, 비즈니스 프로세스를 자동화 할 알고리즘을 탐구한다. 그러나 스스로 학습을 하는 소프트웨어로 효율성을 높일 수 있다고 판단하는 CIO가 있는 반면, AI에 지나치게 많은 운영을 떠넘기는 것을 경계하는 CIO들도 있다. 아직은 알고리즘이 결론에 도달하는 방법과 과정을 규명하기 어렵다는 이유에서다.

특히 금융 서비스와 자율주행 자동차 관련 산업 등 규제가 심한 업종의 CIO들이 이런 '블랙박스 문제'와 힘겹게 씨름하고 있다. 자율주행 자동차가 테스트 중에 갑자기 도로를 이탈할 경우, 엔지니어는 그 이유와 과정을 파악해야 한다. 유사하게 고객들의 신용 위험 심사에 AI를 사용하려는 금융 서비스 회사들은 자격 평가에 편향이 발생하지 않도록 주의를 기울여야 한다. 이런 위험성 때문에, AI의 예측을 검사하고, 더 나아가 설명할 방법을 찾는 기업들이 증가하고 있다.

비즈니스 프로세스를 자동화할 수 있도록 개발된 소프트웨어 대부분에는 프로그래밍이 가능한 논리가 포함되어 있다. 즉 프로그래머가 지시한 일을 한다. 그러나 '자동화 2세대'의 시대에는 스스로 학습할 수 있는 소프트웨어가 '핵심'이다. 소프트웨어가 패턴을 파악하는 방식, 결과를 관찰하는 방식을 명확히 이해하지 못하는 규제 산업의 기업들은 이런 머신을 얼마나 신뢰해야 할지 의구심을 가질 수밖에 없다.



AI의 '원동력'이면서 '도전과제'인 빅데이터
AI는 상황을 인식하고, 계획 및 학습을 하고, 인간이나 다른 동물의 타고난 지능을 흉내내는 다양한 인지 기술(Cognitive Technologies)로 구성되어 있다. 금방 손에 잡힐 듯 했지만 실제 잡히지 않는 기술이었기에 장기간 연구가 이뤄졌다.

그러다 컴퓨팅 파워가 증가하고, 알고리즘과 AI 모델이 더 정교해지고, 연결된 장치가 매일 수 많은 데이터를 생성하면서 자율 기술이 '캄브리아기 대폭발'을 일으켰다. 자율주행 자동차는 복잡한 길을 스스로 주행해 헤쳐 나갈 수 있고, 봇은 사람의 말을 흉내 낼 수 있다. 이에 기업들이 투자를 확대했다. IDC는 기업이 인지 시스템과 AI를 도입하면서 관련 시장의 글로벌 매출이 2016년 80억 달러에서 2020년에는 470억 달러 이상으로 증가할 것으로 내다보고 있다.

기술과 학습 능력은 빠른 속도로 성장하고 있지만 이에 상응해 복잡성도 커지고 있다. 많은 기업이 사용하고 있는 AI의 가장 중요한 하위 기술인 머신러닝과 딥러닝은 사람의 뇌 신경망을 모델화 한 신경망, 상호 연결된 노드이다. 이들 기술이 더욱 강력해지면서, 자기 학습 시스템 신경망 내부의 수 많은 연결을 '분석'하는 것은 둘째치고 추적하는 것조차 불가능해진다.

이는 질문 하나를 제기한다. '알고리즘은 공평한 대출에 대한 규칙을 위반하지 않으면서, 기존 주택 소유주가 30년 모기지(주택 담보 대출)를 상환할 수 있는지 알려줄 수 있을까? 우리가 이런 부분과 관련해 알고리즘을 믿을 수 있을까?'라는 질문이다.

페니매(Fannie Mae)의 운영 및 기술 책임자인 브루스 리에 따르면, 이는 규제 당국에게 AI가 내린 결정을 더 정확히 설명할 수 있어야 하는 페니매 같은 모기지 회사들이 풀어야 할 질문이다. 네스트(Nest) 온도조절기 같은 제품을 사용해 전기 요금을 관리하는 주택 소유주가 모기 상황에 쓸 현금 흐름에 더 여유가 있다고 논리적으로 추론할 수 있을지 모른다. 그러나 AI가 이를 자격 조건으로 포함시키도록 만드는 것은 규제 당국의 시각에서는 문제의 소지가 있다.

리는 "공정한 대출에 대한 규칙에서 표본의 편향에 대한 문제 없이, 네스트를 사용하는 사람들에게 더 나은 이자율의 대출 상품을 제공할 수 있을까? (분명히 AI가 활용될 분야인) 신용 및 대출 결정에 AI를 활용하기 위해 넘어야 할 규제적 장애물이 아주 많다. 우리가 하고 있는 일 중에는 부적절한 편향이 발생하지 않도록 만들고, 주택 시장 인프라에 이익이 발생하도록 만드는 철저한 검증과 관련된 일들이 많다. 특히 AI의 경우 설명이 가능해야 한다"라고 강조했다.

'설명 가능한 AI'(explainable AI)란 의사 결정과 결론, 예측을 하는 AI의 자격과 적격성을 논리적으로 판단할 수 있어야 한다는 의미이다. 리는 데이터를 구체적인 질문과 답으로 표시할 때 사용하는 차트와 분석 등에 대해 광범위하면서도 자세한 설명을 제공하는 쏘우트스폿(ThoughtSopot)의 소프트웨어가 도움이 될 수 있다고 설명했다.

금융 서비스에서 이런 기능은 AI의 '요건' 중 하나이다. 리는 "인종적인 편견 등 편견과 편향 없이 의사 결정을 내리도록 직원들을 훈련시키는 방법을 설명하듯, AI에 대해서도 같은 설명을 할 수 있어야 한다"라고 말했다.

-> "설명 가능한 AI? 정확성 보장 어렵다" 구글 연구 책임자

'설명 가능한 AI' 논란
학계 일각에서는 '설명 가능한 AI'가 필요하다며 우려하고 있다. 그러나 '머신러닝으로 새로운 자동화의 물결을 견인하는 방법'에 대한 책을 공동 저술한 MIT의 수석 연구 과학자인 앤드류 맥아피(Andrew McAfee)는 이를 우려하는 학자가 아니다.

맥아피는 지난 5월 MIT 슬론 경영 대학원의 CIO 심포지움에 AI 패널로 참석, AI가 내린 결론이 적절한지 검증할 수 있는 능력이 없는 것에 대한 질문을 받았다. 그는 이에 대해 "많은 사람들이 걱정하고 있다. 그러나 나는 사람을 예로 들어 이런 우려를 반박한다. 다시 말해, 사람은 자신이 내린 결정이나 예측을 설명할 수 있다. 그러나 이 설명이 틀린 경우가 많다. 우리 스스로의 지식에도 접근하지 못하고 있다. 이런 이유로 (나는) 다른 사람들보다 AI 블랙 박스를 적게 걱정한다"라고 대답했다. 그는 AI 설명에 규제적 장애물을 끼워 넣는 것은 시장 경제 발전에 방해가 된다고 덧붙였다.

그러나 맥아피와 함께 <머신, 플랫폼, 클라우드: 디지털 미래를 활용(Machine, Platform, Crowd: Harnessing Our Digital Future)>이라는 신간을 공동 저술한 MIT 경영 대학원의 에릭 브리뇰프슨 교수는 머신이 논거 과정을 설명할 수 없다면, 사람과 머신의 협력이 더 힘들어진다고 인정했다.

브리뇰프슨은 "이런 종류의 레버리지를 갖기 원하는 영역이 아직도 많다. 그러나 수 많은 연결이 특징인 머신의 경우, 이 특정한 '가중합'이 의사 결정을 견인했다고 자신 있게 말하기 어려운 실정이다"라고 설명했다.

MIT 심포지움에 참석한 IT 중역 한 명은 AI가 자신의 비즈니스에 중요하다는 점을 인정했지만, 동시에 AI 기술에 경계심을 드러냈다.

TIAA의 스콧 브랜드포드 최고 디지털 책임자(CDO)는 기업들이 AI 블랙박스 문제를 우려해야 한다고 강조했다. 사람의 삶에 영향을 주는 의사 결정을 내릴 경우, 확실성을 보장할 필요가 있기 때문이다.

그는 TIAA의 경우 디지털 비즈니스 운영을 모니터하기 위해 구축한 분석 시스템을 강화하는 데 AI를 활용할 수 있음에도 불구하고, 추가 테스트와 검증 전에는 이를 활용하지 않을 작정이라고 설명했다. 브랜드포드는 "지금 당장은 입증된 기술만 계속 사용할 계획"이라고 덧붙였다.

GE의 짐 파울러 CIO는 기술이 사용되는 상황이 '설명 가능한 AI'에 영향을 줄 것이라고 말했다. 예를 들어, 미수금 계정을 더 효율적으로 처리할 수 있도록 도움을 주는 자기 학습 소프트웨어에는 설명이 필요 없다. 그러나 제트 엔진과 관련된 알고리즘은 이를 적용하기 전에 원리와 과정을 완벽히 이해해야 한다고 그는 강조했다.

파울러는 "AI의 목적과 사용 환경을 감안해야 한다. 이것이 AI에 대한 설명과 이해를 얼마나 중시할지 결정한다. 테스트가 가능해야 하고, 규제 당국에 이를 보여줄 수 있어야 하고, 스스로 테스트와 입증을 확신할 수 있어야 하는 프로세스가 많다. 생명과 관련이 있는데, 계속 바뀌는 알고리즘이 있다고 가정하자. 이 '블랙박스'를 신뢰하기는 어렵다"라고 말했다. ciokr@idg.co.kr 
X