2018.01.12

'현 시점에서 짚어보는 AI의 이면' 인공지능 전문가 일문일답

George Nott | CIO Australia
인공지능 시스템이 빠르게 블랙박스화 되면서 뛰어난 컴퓨터 공학자들조차도 자세히 조사할 수 없게 됐다고 주장하는 목소리가 높다.



이미 이런 시스템이 의료 진단부터 대출 한도까지 삶을 변화시키는 중대한 결정을 내리는 데 사용되는 상황에서 인공지능이 결론에 도달하는 방식을 파악할 수 있는 능력이 점차 중요해지고 있다.

그리고 EU(European Union)가 자동화된 결정에 대해 도달 방식을 설명하도록 하는 GDPR(General Data Protection Regulation)을 도입하면서 기업들은 AI를 더욱 투명하게 유지해야 하는 상황이다.

<CIO 호주>는 페가시스템즈(Pegasystems)의 결정 관리 및 분석 부사장인 롭 워커 박사와 블랙박스 AI의 역량과 위험에 관해 이야기를 나눴다. 다음은 워커 박사와의 일문일답이다.

CIO호주 : 불투명한 AI와 투명한 AI의 차이점은 무엇인가?
페가시스템즈 롭 워커 박사(이하 워커 박사) :
불투명한 AI는 인간에게 설명할 수 없는 알고리즘을 사용한다. ‘이상한’ 사고뿐만 아니라 결과적인 예측, 분류 또는 결정 모델의 순수한 복잡성 때문이기도 하다.

불투명 모델의 예로는 인간 두뇌의 내부 작용을 모방한 딥러닝에 사용하는 다층 신경망이 있다. 또 최적의 환경에서 시뮬레이션 된 생존 변수를 이용해 문제 해결책을 점점 발전시켜 나아는 기법인 유전적 알고리즘도 불투명 모델의 예다. 

반면에 투명한 AI는 설명할 수 있는 기법을 사용한다. 그 예로는 예측, 분류 또는 결정을 위해 데이터를 사용하는 방식을 명확히 보여주는 적절한 크기의 득점표 또는 결정 트리가 있다.


CIO호주 : 오늘날 AI 시스템은 얼마나 '블랙박스’화 되었는가?
워커 박사 :
얼마나 블랙박스화 됐는지는 알고리즘뿐만 아니라 데이터에도 좌우된다. 심지어 결정 트리나 득점표 같은 이론적으로 투명한 기술도 순수한 복잡성을 통해 불투명해질 수 있다.

가령 수입이 4만 5,000달러 미만인 신청자가 특정 신용카드를 승인받지 못한다고 명시한 규정은 비록 고지식해 보이긴 해도 투명하다. 하지만, 수십만 개의 독립적인 규칙은 다층 신경망만큼이나 불투명하다.

AI 시스템은 많은 사람이 생각하는 것보다 이미 더 블랙박스화 돼 있지만, 마찬가지로 인간은 대부분 사람이 생각하는 것보다 더 블랙박스화 돼 있다고 말하고 싶다. 기업들이 불투명함 그리고 검토 프로세스와 감독을 통해 이에 대응하는 방법에 대해 모르는 것이 아니다. 문제는 AI에서의 점검과 균형의 필요성에 대한 이해가 인간의 의사 결정에 대한 것보다 못하다는 점이다.

불투명함을 판단하는 일관된 지표, 일부 비즈니스 영역에서 불투명 알고리즘을 허용하는 통제, 기타 영역에서의 투명함에 대한 강조가 핵심 요소다.

CIO호주 : 모든 AI 시스템을 투명하게 만들면 되지 않을까?
워커 박사 :
투명함을 강조하는 것은 사용 알고리즘에 대한 상당한 제약으로 작용한다. 그리고 때에 따라 불투명한 AI가 더욱 강력하여 더 나은 예측을 제공할 수도 있다.

투명성에 대한 필요는 자유를 제한한다. 예를 들어, 회귀 모델, 신경망 등 통찰력을 표현하는 형식은 인간이 이해하거나, 인간이 이해하는 형식으로 표현할 수 있는 것으로 제한을 받게 된다.

또한 투명성은 복잡성의 함수다. 예를 들어, 스프레드시트는 인간이 이해할 수 있는 것으로 설계된 형식이다. 하지만 결과적으로 다른 것들을 참조하는 셀에 있는 수백만 개의 수식으로 인해 스프레드시트가 다루기 어려워진다.

모든 불투명한 알고리즘이 투명한 알고리즘보다 나은 것은 아니지만, 불투명한 알고리즘은 더 나은 해결책을 찾을 수 있는 자유도(Degree of Freedom)가 크다. 속도 측면에서 유의미한 차이는 존재하지 않는다(특히, 불투명한 알고리즘군 중 일부를 매우 빠르게 실행하는 전용 신경 프로세서의 경우에도 그렇다).

CIO호주 : 그렇다면 기업은 무엇을 활용해야 하나?
워커 박사 :
불투명과 투명의 차이는 좋고 나쁨의 차이가 아니며(어쨌든 인간의 사고도 꽤 불투명한 경우가 많다), 이해가 성능보다 우선시되거나 반대의 경우에 대한 조직의 판단에 달렸다.

CIO호주 : 기업에게 투명 AI 옵션이 많은가?
워커 박사 :
많다. 포괄적인 알고리즘과 신경망 등의 불투명한 알고리즘의 역사가 수십 년은 되었지만 예측 분석과 머신러닝 같은 AI 카테고리는 더욱 투명한 경향이 있다.

CIO호주 : AI 개발 업체는 경쟁우위를 이유로 시스템을 불투명하게 만드는가?
워커 박사 : AI 업체가 지적재산을 보호하고 싶은 것도 있겠지만 현대 AI가 생성하는 모델에 내재된 복잡성이 가장 큰 문제다. 심지어 구글도 알파고 제로(AlphaGo Zero)가 바둑을 두는 방식을 정확히 알지 못한다.

CIO호주 : 어느 쪽이든 소비자들은 불편해지나?
워커 박사 :
대출 신청이 거부되면서, 금융사가 하는 유일한 설명이 “AI가 그렇게 말해서”라고 한다면 소비자들은 그렇게 될 것이다.

아니면 자율주행 자동차가 도로를 이탈하여 특정 프로필을 가진 행인을 추격할 때도 그럴 것이다. 아니면 억양이 높거나 낮다는 이유로 음성 응답 시스템이 음악 재생 목록 맨 앞에 둔 음악만 계속 들려줄 때도 그럴 것이다.

하지만 소비자들은 기업 윤리에 대해 지금과 같은 반응을 보일 것이다. 안타깝게도 현재로서는 최소한 일정한 형태의 책임이 존재할 뿐이다.

CIO호주 : 불투명한 AI를 사용하는 기업들에 GDPR이 끼치는 영향은 무엇인가?
워커 박사 :
무엇보다도 GDPR은 자동화된 결정에 대해 ‘법적 의미’가 있는 설명을 요구한다. 머지않아 소송이 ‘의미’의 법적 경계를 정의하겠지만, GDPR에 따라 불투명한 알고리즘은 이런 결정과 관련된 법적 책임을 지게 될 것이다.

그리고 GDPR로 인해 기업은 자체 AI가 중대한 고객 결정에 사용되는 경우 이에 대해 설명할 수 있어야 할 것이다. 불투명한 AI는 이미지 분류, 통역 또는 번역, 기타 자동화 업무에는 괜찮을 것이다.

CIO호주 : 새로운 AI 과부하(overlord)는 언제 닥치나?
워커 박사 :
아직까지 AGI(Artificial General Intelligence)나 AS(Artificial Sentience)는 먼 나라의 이야기다. 맡은 업무에 상관없이 AI가 우리보다 더 똑똑해지면 그때 가서 이 질문을 다시 하기 바란다.

현재 세계 바둑 챔피언을 꺾은 AI인 알파고는 인공지능을 이용해 체스를 두지도 못하고, 다림질이나 운전도 못한다.

나는 (수준이 차이가 나기는 하지만) 이런 것들 외에도 다양한 일을 할 수 있다. 알파고는 자신의 스위치를 끄려는 사람이 다가와도 도망가지 않을 것이며 두려움 자체를 모를 것이다. 그것이 바뀌면 상황이 바뀐다. 현재로서는 이야기하기에 시기상조다. ciokr@idg.co.kr
 

2018.01.12

'현 시점에서 짚어보는 AI의 이면' 인공지능 전문가 일문일답

George Nott | CIO Australia
인공지능 시스템이 빠르게 블랙박스화 되면서 뛰어난 컴퓨터 공학자들조차도 자세히 조사할 수 없게 됐다고 주장하는 목소리가 높다.



이미 이런 시스템이 의료 진단부터 대출 한도까지 삶을 변화시키는 중대한 결정을 내리는 데 사용되는 상황에서 인공지능이 결론에 도달하는 방식을 파악할 수 있는 능력이 점차 중요해지고 있다.

그리고 EU(European Union)가 자동화된 결정에 대해 도달 방식을 설명하도록 하는 GDPR(General Data Protection Regulation)을 도입하면서 기업들은 AI를 더욱 투명하게 유지해야 하는 상황이다.

<CIO 호주>는 페가시스템즈(Pegasystems)의 결정 관리 및 분석 부사장인 롭 워커 박사와 블랙박스 AI의 역량과 위험에 관해 이야기를 나눴다. 다음은 워커 박사와의 일문일답이다.

CIO호주 : 불투명한 AI와 투명한 AI의 차이점은 무엇인가?
페가시스템즈 롭 워커 박사(이하 워커 박사) :
불투명한 AI는 인간에게 설명할 수 없는 알고리즘을 사용한다. ‘이상한’ 사고뿐만 아니라 결과적인 예측, 분류 또는 결정 모델의 순수한 복잡성 때문이기도 하다.

불투명 모델의 예로는 인간 두뇌의 내부 작용을 모방한 딥러닝에 사용하는 다층 신경망이 있다. 또 최적의 환경에서 시뮬레이션 된 생존 변수를 이용해 문제 해결책을 점점 발전시켜 나아는 기법인 유전적 알고리즘도 불투명 모델의 예다. 

반면에 투명한 AI는 설명할 수 있는 기법을 사용한다. 그 예로는 예측, 분류 또는 결정을 위해 데이터를 사용하는 방식을 명확히 보여주는 적절한 크기의 득점표 또는 결정 트리가 있다.


CIO호주 : 오늘날 AI 시스템은 얼마나 '블랙박스’화 되었는가?
워커 박사 :
얼마나 블랙박스화 됐는지는 알고리즘뿐만 아니라 데이터에도 좌우된다. 심지어 결정 트리나 득점표 같은 이론적으로 투명한 기술도 순수한 복잡성을 통해 불투명해질 수 있다.

가령 수입이 4만 5,000달러 미만인 신청자가 특정 신용카드를 승인받지 못한다고 명시한 규정은 비록 고지식해 보이긴 해도 투명하다. 하지만, 수십만 개의 독립적인 규칙은 다층 신경망만큼이나 불투명하다.

AI 시스템은 많은 사람이 생각하는 것보다 이미 더 블랙박스화 돼 있지만, 마찬가지로 인간은 대부분 사람이 생각하는 것보다 더 블랙박스화 돼 있다고 말하고 싶다. 기업들이 불투명함 그리고 검토 프로세스와 감독을 통해 이에 대응하는 방법에 대해 모르는 것이 아니다. 문제는 AI에서의 점검과 균형의 필요성에 대한 이해가 인간의 의사 결정에 대한 것보다 못하다는 점이다.

불투명함을 판단하는 일관된 지표, 일부 비즈니스 영역에서 불투명 알고리즘을 허용하는 통제, 기타 영역에서의 투명함에 대한 강조가 핵심 요소다.

CIO호주 : 모든 AI 시스템을 투명하게 만들면 되지 않을까?
워커 박사 :
투명함을 강조하는 것은 사용 알고리즘에 대한 상당한 제약으로 작용한다. 그리고 때에 따라 불투명한 AI가 더욱 강력하여 더 나은 예측을 제공할 수도 있다.

투명성에 대한 필요는 자유를 제한한다. 예를 들어, 회귀 모델, 신경망 등 통찰력을 표현하는 형식은 인간이 이해하거나, 인간이 이해하는 형식으로 표현할 수 있는 것으로 제한을 받게 된다.

또한 투명성은 복잡성의 함수다. 예를 들어, 스프레드시트는 인간이 이해할 수 있는 것으로 설계된 형식이다. 하지만 결과적으로 다른 것들을 참조하는 셀에 있는 수백만 개의 수식으로 인해 스프레드시트가 다루기 어려워진다.

모든 불투명한 알고리즘이 투명한 알고리즘보다 나은 것은 아니지만, 불투명한 알고리즘은 더 나은 해결책을 찾을 수 있는 자유도(Degree of Freedom)가 크다. 속도 측면에서 유의미한 차이는 존재하지 않는다(특히, 불투명한 알고리즘군 중 일부를 매우 빠르게 실행하는 전용 신경 프로세서의 경우에도 그렇다).

CIO호주 : 그렇다면 기업은 무엇을 활용해야 하나?
워커 박사 :
불투명과 투명의 차이는 좋고 나쁨의 차이가 아니며(어쨌든 인간의 사고도 꽤 불투명한 경우가 많다), 이해가 성능보다 우선시되거나 반대의 경우에 대한 조직의 판단에 달렸다.

CIO호주 : 기업에게 투명 AI 옵션이 많은가?
워커 박사 :
많다. 포괄적인 알고리즘과 신경망 등의 불투명한 알고리즘의 역사가 수십 년은 되었지만 예측 분석과 머신러닝 같은 AI 카테고리는 더욱 투명한 경향이 있다.

CIO호주 : AI 개발 업체는 경쟁우위를 이유로 시스템을 불투명하게 만드는가?
워커 박사 : AI 업체가 지적재산을 보호하고 싶은 것도 있겠지만 현대 AI가 생성하는 모델에 내재된 복잡성이 가장 큰 문제다. 심지어 구글도 알파고 제로(AlphaGo Zero)가 바둑을 두는 방식을 정확히 알지 못한다.

CIO호주 : 어느 쪽이든 소비자들은 불편해지나?
워커 박사 :
대출 신청이 거부되면서, 금융사가 하는 유일한 설명이 “AI가 그렇게 말해서”라고 한다면 소비자들은 그렇게 될 것이다.

아니면 자율주행 자동차가 도로를 이탈하여 특정 프로필을 가진 행인을 추격할 때도 그럴 것이다. 아니면 억양이 높거나 낮다는 이유로 음성 응답 시스템이 음악 재생 목록 맨 앞에 둔 음악만 계속 들려줄 때도 그럴 것이다.

하지만 소비자들은 기업 윤리에 대해 지금과 같은 반응을 보일 것이다. 안타깝게도 현재로서는 최소한 일정한 형태의 책임이 존재할 뿐이다.

CIO호주 : 불투명한 AI를 사용하는 기업들에 GDPR이 끼치는 영향은 무엇인가?
워커 박사 :
무엇보다도 GDPR은 자동화된 결정에 대해 ‘법적 의미’가 있는 설명을 요구한다. 머지않아 소송이 ‘의미’의 법적 경계를 정의하겠지만, GDPR에 따라 불투명한 알고리즘은 이런 결정과 관련된 법적 책임을 지게 될 것이다.

그리고 GDPR로 인해 기업은 자체 AI가 중대한 고객 결정에 사용되는 경우 이에 대해 설명할 수 있어야 할 것이다. 불투명한 AI는 이미지 분류, 통역 또는 번역, 기타 자동화 업무에는 괜찮을 것이다.

CIO호주 : 새로운 AI 과부하(overlord)는 언제 닥치나?
워커 박사 :
아직까지 AGI(Artificial General Intelligence)나 AS(Artificial Sentience)는 먼 나라의 이야기다. 맡은 업무에 상관없이 AI가 우리보다 더 똑똑해지면 그때 가서 이 질문을 다시 하기 바란다.

현재 세계 바둑 챔피언을 꺾은 AI인 알파고는 인공지능을 이용해 체스를 두지도 못하고, 다림질이나 운전도 못한다.

나는 (수준이 차이가 나기는 하지만) 이런 것들 외에도 다양한 일을 할 수 있다. 알파고는 자신의 스위치를 끄려는 사람이 다가와도 도망가지 않을 것이며 두려움 자체를 모를 것이다. 그것이 바뀌면 상황이 바뀐다. 현재로서는 이야기하기에 시기상조다. ciokr@idg.co.kr
 

X