2018.07.18

블랙박스 AI 아닌 '설명 가능 인공지능'이어야 하는 이유

Brad Howarth | CMO
인공지능 엔진이 어떻게 의사 결정을 내릴까? 이는 시스템을 좀더 자세히 조사해야 하는 많은 논리적이고 윤리적인 이유 중 하나에 불과하다.



18세기 후반 볼프강 폰 켐펠렌(Wolfgang von Kempelen)은 메카니컬 터크(Mechanical Turk)라는 체스 로봇을 만들어 세상을 놀라게 했다. 이 로봇이 나폴레옹 보나파르트와 벤자민 프랭클린을 비롯한 능력 있는 상대를 물리쳤기 때문이다.

구경꾼들은 기어와 톱니바퀴로 만들어진 이 장치가 복잡한 체스를 어떻게 마스터 할 수 있었는지에 놀랐고 그 내부에 무엇이 있는지 알고 싶어 했다.

나중에 알고 보니 메카니컬 터크 안에는 실제 사람이 들어가 앉아 있었던 것이었다. 구경꾼들이 내부를 들여다볼 수 없었던 점을 이용한 단순하면서도 매우 효과적인 속임수였다.

메카니컬 터크에 이야기는 100년이 넘었지만 인공지능(AI)의 활용이 늘어나고 있는 현대사회에서 유용한 비유가 될 수 있다. AI의 구현 방식을 거의 이해하지 못한 상태에서 우리가 얼마나 결과에 의존하는지에 대해서도 마찬가지다.

AI 시스템의 불명확함은 특히 의도적이거나 의도하지 않은 데이터 편향의 장기적인 영향을 통해 악용 가능성이 커진다. 이는 많은 컴퓨터 과학자와 연구원들 사이에서 주요 주제가 됐고 설명 가능 인공지능(Explainable AI∙XAI)의 개념을 탄생시켰다.

스탠퍼드대학교에서 컴퓨터 과학 분야의 전략적 연구 이니셔티브 책임 연구자인 스티븐 이글래시 박사는 XAI의 잠재력을 옹호하는 사람 중 하나다.

7월 19일 열린 멜버른 비즈니스 분석 컨퍼런스(Melbourne Business Analytics Conference)에 마련된 자신의 차례에 앞서 CMO와 가진 인터뷰에서 이글래시 박사는 효과적인 ‘블랙박스’인 AI 시스템을 우리가 어떻게 만들 수 있을지를 설명했다. AI로 인한 결과가 어떻게 만들어지는지 모를 경우 그들의 영향력을 감안하면 그 결과와 결정으로 인해 감정이 상할 수 있기 때문이다.

이글래시 박사는 “AI 시스템이 은행에서 대출 담당자를 돕는데 마침 어떤 이용자의 대출 신청을 거부하기로 한 경우, 그 사람은 합리적인 이유를 알고 싶어 할 것이다”고 사례를 제시했다.

대출 신청자인 이글래시 박사는 시스템이 신청서를 어떻게 거절했는지, 또는 신청자에 관해 다소 편견을 가질 수 있는 어떤 데이터나 알고리즘으로 작업했는지 알 수 없다고 지적했다.

이어서 "XAI는 사람들이 그에 대한 커튼을 걷고 AI 시스템의 내부 메커니즘을 이해하기 위해 취하는 모든 다양한 접근 방식들을 나타낸다”고 이글래시 박사는 설명했다.

이러한 방법의 하나는 다른 입력을 활용해 AI의 의사결정 방법을 시험하는 것이다. 간단한 예로 고양이 이미지를 인식하도록 설계한 AI를 들 수 있다. 최근 연구는 이미지 일부분이나 조작된 AI 이미지를 제공해 이미지의 어떤 부분이 ‘고양이’와 일치하는지, 고양이를 인식하는 데 AI 능력이 떨어지는 부분은 어디인지를 결정한다는 것을 보여준다. 이글래시 박사는 이 과정을 통해 AI가 최선의 결정을 내릴 수 없는 상황을 밝혀냄으로써 AI를 더욱 탄력적으로 만들 수 있다고 밝혔다.


윤리적인 관점에서 보기
스탠퍼드대학교에서의 역할을 통해 이글래시 박사는 매년 200개 이상의 기업과 기타 조직을 만난다. 이글래시 박사는 그들과의 대화 중 많은 부분이 이제 신흥기술의 윤리에 대한 참고사항을 포함하고 있다는 점에서 다행이라고 생각한다고 전했다.

이글래시 박사는 "조직의 평판에 관해 기업들은 도덕성이 중요하다고 믿는 것처럼 보인다”며 “그리고 사회의 가치가 기업의 가치가 되어야 한다고 믿고 있으며, 여러 가지 종류의 나쁜 행동이나 가치를 떨어뜨리는 행동을 피하는 기업들이 점차 늘고 있다”고 말했다.

조직의 평판이 좋다는 것은 젊은 세대에게 특히 매력적으로 들릴 수 있다. 그에 따르면, 해당 조직에 들어오고 싶어 하는 사람이나 고객에게 긍정적인 메시지를 보내고 싶을 때 조직의 평판은 유용하다.

이글래시 박사는 "동기 부여가 무엇이든, 내가 만난 기업들로부터 인도주의와 사회 문제에 대해 더 많이 듣고 있다는 점은 확실하다”고 강조했다.

이글래시 박사는 "지금은 마케팅과 고객 서비스에 대한 믿을 수 없을 정도로 흥미진진한 시대지만 마케터들은 일할 때 도덕성을 간과해서는 안 된다"고 덧붙였다.

"도덕성은 당신의 일부, 그리고 당신과 회사가 하는 모든 일의 일부가 돼야 한다”고 이글래시 박사는 말했다. 이어서 “공감은 오래 걸린다. 개개인에 대한 존중도 오래 걸린다. 데이터로 할 수 있는 권리가 무한정 있는 게 아니기 때문에 당신은 무엇이 적절하고 무엇이 부적절한지 판단할 때 자신의 관점을 통해서뿐만 아니라 다른 사람의 관점으로도 바라봐야 한다”고 전했다. ciokr@idg.co.kr
 



2018.07.18

블랙박스 AI 아닌 '설명 가능 인공지능'이어야 하는 이유

Brad Howarth | CMO
인공지능 엔진이 어떻게 의사 결정을 내릴까? 이는 시스템을 좀더 자세히 조사해야 하는 많은 논리적이고 윤리적인 이유 중 하나에 불과하다.



18세기 후반 볼프강 폰 켐펠렌(Wolfgang von Kempelen)은 메카니컬 터크(Mechanical Turk)라는 체스 로봇을 만들어 세상을 놀라게 했다. 이 로봇이 나폴레옹 보나파르트와 벤자민 프랭클린을 비롯한 능력 있는 상대를 물리쳤기 때문이다.

구경꾼들은 기어와 톱니바퀴로 만들어진 이 장치가 복잡한 체스를 어떻게 마스터 할 수 있었는지에 놀랐고 그 내부에 무엇이 있는지 알고 싶어 했다.

나중에 알고 보니 메카니컬 터크 안에는 실제 사람이 들어가 앉아 있었던 것이었다. 구경꾼들이 내부를 들여다볼 수 없었던 점을 이용한 단순하면서도 매우 효과적인 속임수였다.

메카니컬 터크에 이야기는 100년이 넘었지만 인공지능(AI)의 활용이 늘어나고 있는 현대사회에서 유용한 비유가 될 수 있다. AI의 구현 방식을 거의 이해하지 못한 상태에서 우리가 얼마나 결과에 의존하는지에 대해서도 마찬가지다.

AI 시스템의 불명확함은 특히 의도적이거나 의도하지 않은 데이터 편향의 장기적인 영향을 통해 악용 가능성이 커진다. 이는 많은 컴퓨터 과학자와 연구원들 사이에서 주요 주제가 됐고 설명 가능 인공지능(Explainable AI∙XAI)의 개념을 탄생시켰다.

스탠퍼드대학교에서 컴퓨터 과학 분야의 전략적 연구 이니셔티브 책임 연구자인 스티븐 이글래시 박사는 XAI의 잠재력을 옹호하는 사람 중 하나다.

7월 19일 열린 멜버른 비즈니스 분석 컨퍼런스(Melbourne Business Analytics Conference)에 마련된 자신의 차례에 앞서 CMO와 가진 인터뷰에서 이글래시 박사는 효과적인 ‘블랙박스’인 AI 시스템을 우리가 어떻게 만들 수 있을지를 설명했다. AI로 인한 결과가 어떻게 만들어지는지 모를 경우 그들의 영향력을 감안하면 그 결과와 결정으로 인해 감정이 상할 수 있기 때문이다.

이글래시 박사는 “AI 시스템이 은행에서 대출 담당자를 돕는데 마침 어떤 이용자의 대출 신청을 거부하기로 한 경우, 그 사람은 합리적인 이유를 알고 싶어 할 것이다”고 사례를 제시했다.

대출 신청자인 이글래시 박사는 시스템이 신청서를 어떻게 거절했는지, 또는 신청자에 관해 다소 편견을 가질 수 있는 어떤 데이터나 알고리즘으로 작업했는지 알 수 없다고 지적했다.

이어서 "XAI는 사람들이 그에 대한 커튼을 걷고 AI 시스템의 내부 메커니즘을 이해하기 위해 취하는 모든 다양한 접근 방식들을 나타낸다”고 이글래시 박사는 설명했다.

이러한 방법의 하나는 다른 입력을 활용해 AI의 의사결정 방법을 시험하는 것이다. 간단한 예로 고양이 이미지를 인식하도록 설계한 AI를 들 수 있다. 최근 연구는 이미지 일부분이나 조작된 AI 이미지를 제공해 이미지의 어떤 부분이 ‘고양이’와 일치하는지, 고양이를 인식하는 데 AI 능력이 떨어지는 부분은 어디인지를 결정한다는 것을 보여준다. 이글래시 박사는 이 과정을 통해 AI가 최선의 결정을 내릴 수 없는 상황을 밝혀냄으로써 AI를 더욱 탄력적으로 만들 수 있다고 밝혔다.


윤리적인 관점에서 보기
스탠퍼드대학교에서의 역할을 통해 이글래시 박사는 매년 200개 이상의 기업과 기타 조직을 만난다. 이글래시 박사는 그들과의 대화 중 많은 부분이 이제 신흥기술의 윤리에 대한 참고사항을 포함하고 있다는 점에서 다행이라고 생각한다고 전했다.

이글래시 박사는 "조직의 평판에 관해 기업들은 도덕성이 중요하다고 믿는 것처럼 보인다”며 “그리고 사회의 가치가 기업의 가치가 되어야 한다고 믿고 있으며, 여러 가지 종류의 나쁜 행동이나 가치를 떨어뜨리는 행동을 피하는 기업들이 점차 늘고 있다”고 말했다.

조직의 평판이 좋다는 것은 젊은 세대에게 특히 매력적으로 들릴 수 있다. 그에 따르면, 해당 조직에 들어오고 싶어 하는 사람이나 고객에게 긍정적인 메시지를 보내고 싶을 때 조직의 평판은 유용하다.

이글래시 박사는 "동기 부여가 무엇이든, 내가 만난 기업들로부터 인도주의와 사회 문제에 대해 더 많이 듣고 있다는 점은 확실하다”고 강조했다.

이글래시 박사는 "지금은 마케팅과 고객 서비스에 대한 믿을 수 없을 정도로 흥미진진한 시대지만 마케터들은 일할 때 도덕성을 간과해서는 안 된다"고 덧붙였다.

"도덕성은 당신의 일부, 그리고 당신과 회사가 하는 모든 일의 일부가 돼야 한다”고 이글래시 박사는 말했다. 이어서 “공감은 오래 걸린다. 개개인에 대한 존중도 오래 걸린다. 데이터로 할 수 있는 권리가 무한정 있는 게 아니기 때문에 당신은 무엇이 적절하고 무엇이 부적절한지 판단할 때 자신의 관점을 통해서뿐만 아니라 다른 사람의 관점으로도 바라봐야 한다”고 전했다. ciokr@idg.co.kr
 

X