로봇 전문가가 말하는 'AI에 관한 설명 기능이 향상되는 이유'

CMO
로봇공학 전문가 브라이언 루튼버그 박사는 산업에서 신기술을 채택함에 따라 머신러닝의 의사결정 방식을 설명하는 개념이 얼마나 중요한지 강조했다.



방대한 양의 데이터에서 신속하게 추천을 생성할 수 있는 인공지능(AI) 시스템은 고객 등급 매기기부터 피부암 종양 탐지까지 다양한 분야에 적용되는 것으로 나타났다.

그러나 이러한 시스템이 의사결정에 도달하는 방식이 항상 명확한 것은 아니다. 특히 시간이 지남에 따라 자율적으로 정확성을 높일 수 있는 머신러닝 기술을 사용할 때 그렇다.

기계가 결론에 도달하는 방법을 인간이 쉽게 이해할 수 없다는 것은 처음부터 기계가 이러한 컴퓨팅을 처리하도록 요청된 이유에 따른 자연스러운 결과이기도 하다. 즉 인간의 마음이 수학적으로 동일한 작업을 실질적으로 완료할 수는 없다는 의미다.

그러나 사람은 신용 대출이 거절됐거나 특정 제안을 받지 못할 때 등 인공지능의 결정에 영향을 받는 경우 그 이유를 알고 싶어 할 것이다. 또한 의사결정 과정에서 자연스럽게 불이익을 줄 수 있는 오류나 편향된 데이터를 기반으로 컴퓨터가 결론에 도달할 가능성이 있을 때 더욱 커진다.

로봇회사인 넥스트드로이드(NextDriod)의 수석 과학자 브라이언 루튼버그 박사는 인공지능에서 '설명가능성(explainability)' 개념에 일생을 바쳤다. 호주 애널리틱스 전문가 협회(IAPA) 총회에서 발표할 예정인 루튼버그는 자신이 자율주행 차량에 AI를 신속하게 채택함으로써 이 개념을 조사하도록 영감을 받았다고 말했다.

루튼버그는 <CMO>에 "딥러닝과 컴퓨팅 기능의 등장으로 AI 시스템은 점점 더 복잡해지고 있다"며 "이러한 AI 결정에는 사회적 함의가 있다. 설명가능성은 공정성과 책임성과 투명성이라는 개념과 관련이 있다"고 밝혔다.

루튼버그의 설명가능성에 대한 관심은 주로 자율주행 차량에 관한 것이다. 그는 다른 분야에서의 AI 채택은 그것을 사용하는 사람들에게 사용 방법에 관해 압박을 가할 것이며, 결과를 어떻게 신뢰할 수 있는지에 관해 설명할 것이라고 덧붙였다.

루튼버그는 “마케팅 담당자가 고객 평가에서 AI를 점점 더 많이 사용하면서 AI 설명가능성에 더 관심을 가지기 시작했다. AI는 영업 사원에게 특정 제안을 더 좋은 것이라고 권유할 수 있다”고 전했다.

이어서 "마케터는 그 사람을 보라고 말할 수는 있지만 그 사람을 좋은 표적으로 만드는 원인이 무엇인지를 알지 못해 그들이 돌아가서 그들이 가지고 있는 모든 과정을 향상할 수 있다고 그는 말했다.

미국에서는 공정한 대출 관행에 따라 대출 기관이 차별할 수 없도록 지시하는 금융 서비스 부문에서 설명가능성에 대한 요구가 대두된 바 있다.

루튼버그는 "신용 대출 연장 시기를 결정할 멋진 새로운 알고리즘이 생기면 편견이나 인종 차별적인 것이 아니라는 점을 입증해야 한다"며 "편견이나 인종차별이 있다면, 고소당할 수 있다"고 이야기했다.

그러나 재정적 처벌 이외에 설명할 수 없는 인공지능 시스템의 사용으로 발생할 수 있는 또다른 중요한 잠재적 영향은 바로 명예훼손이다.
 

구글이 바로 그러한 예다. 구글은 1세대 시각 인지 기술이 아프리카계 사람을 고릴라로 식별한 것을 알게 됐다. 조이 부올람위니의 MIT 미디어 랩 연구 결과에 따르면 아프리카계 사람들의 인식 정도가 유럽계 출신 사람들보다 훨씬 낮은 것으로 나타났다.

루튼버그의 연구는 인과 관계의 개념에 중점을 두고 있으며 입력에 변화가 생겼을 때 실제로 신경망의 출력을 변경하는 원인을 이해하려고 했다. 그의 목표는 사람들이 이해할 수 있는 용어로 입력에서 출력까지 유용성 체인을 제시하는 것이다.

루튼버그는 "합법적이고 재정적인 면에서 심각한 문제가 발생할 수 있는 경우가 아니라 해도 여러 산업에서 다양한 이유로 이러한 역량은 필요하다. 그는 단지 인식 요건이 되고 있으며, 복잡한 인공지능 시스템을 개발하는 사람이라면 이 점을 인지해야 한다. 누구도 설명할 수 없는 인공지능 시스템을 원하지는 않을 것이다"고 덧붙였다. ciokr@idg.co.kr