2018.02.13

머신러닝은 자동화된 관료주의?··· '설명을 요구할 권리'와 AI

J.M. Porup | CSO

머신러닝과 인공지능이 보안팀 업무를 돕기 시작했다. 자칫 사람이 놓칠 수 있는 징후를 찾아내고 예측하며 판단해 주기 때문에 보안 업무 효율이 크게 개선될 수 있다. 하지만, 사람은 머신러닝과 인공지능이 어떠한 근거로 의사결정을 내렸는지 알지 못 한 채 결과를 받아들여야 할 수도 있다. 이들이 어떻게 의사결정을 내렸는지 요구한다면, 그로 인해 효율이 떨어질까?



“하지만 나는 죄가 없습니다.” K는 말했다. “착오가 있었습니다. 누군가가 죄가 있다는 것이 어떻게 가능하기나 합니까? 우리는 모두 서로 다를 바 없는 인간입니다.”
“맞습니다.” 목사가 말했다. “그렇지만 죄 있는 자들이 그렇게 이야기하지요.”


어딘지 ‘카프카’스러운가? 카프카의 <심판> 중 일부분이기 때문이다. <심판>은 이해할 수 없는 관료주의에 갇혀 이런저런 운명의 저주를 받고 자신에게 내려진 결정에 대해 이의를 제기할 길 없는, 한 무고한 남자의 악몽과도 같은 이야기다. 머신러닝은 자동화된 관료주의에 비유됐다. 유럽 규제 당국은 분명 머신러닝이 규제 없이 확산되면 우리 모두 K가 되는 세상이 올지도 모른다고 우려하고 있다.

1995년도 유럽 개인정보 보호 명령을 전면 개정한 것으로서 유럽인과 거래하는 모든 회사에게 적용될 GDPR은 머신러닝과 인공지능에 대해 어떤 내용을 담고 있을까? 사실 별 내용이 없다. 그래서 법학자들 사이에서는 새로운 법률하에 EU 사람들은 어떤 권리를 갖고, 유럽에서 영업하는 글로벌 회사에게 GDPR 준수는 어떤 모습이어야 할지에 대한 논쟁이 일고 있다.

논쟁의 중심은 설명조항(Recital) 71조에 한 번 등장하는 ‘설명을 요구할 권리(right to explanation)’라는 구절이다. 설명조항은 GDPR의 동반 문서로서 그 자체로 법적 강제성은 없다. 그러나, GDPR에는 정보 수집 주체가 소비자 정보를 어떻게 사용할지 소비자들에게 알려야 한다고 명시되어 있다. 통지 대상 내용에는 “자동화된 의사 결정의 존재 여부, 그리고 최소한 그러한 경우에는 관련된 논리에 대한 의미 있는 정보, 또한 정보 주체에 대한 그러한 정보 처리의 의미와 예상되는 결과” 등이 포함되어야 한다. [강조 표시는 임의로 추가]

상식적으로 해석하면 만일 컴퓨터가 인간의 개입 없이 현실에서 의사결정을 내린다면 그러한 의사결정 방식에 대해 모종의 책임이 있어야 한다는 의미다. 예를 들어, 은행의 머신러닝 모델이 고객에게 여신을 거부한다면, 또한 그러한 행위가 의미 있는 인간의 개입이 없이 이뤄진다면, 어떻게 그러한 결정을 내리게 되었는지 은행은 고객에게 설명해 주어야 할 의무가 있다고 일부 학자들은 주장한다.

뉴욕에 있는 데이터 앤 소사이어티(Data & Society) 연구소의 앤드류 셀브스트 연구원은 “사람들이 블랙박스 시스템이나 다름없는 것을 팔고 있다”고 지적했다. 그는 다음과 같이 덧붙였다. “일이 잘못되면 프로그래머들은 ‘이런 시스템은 아무도 이해하지 못한다’면서 투명성이 없는 것을 악용해 뒤로 숨는다. 궁극적으로 받아들일 수 있는 답변은 아니다. 우리에 관한 결정인데 우리가 검토할 수도 없는 방식으로 내린다면, 이를 거부하자는 것이다. 이 거부는 인간 존엄성과 인간 자율성의 표현이다.”

설명을 요구할 권리가 존재해야 한다는 강력한 주장에도 불구하고 그러한 권리가 유럽 법률하에 실제로 존재하는지는 확실하지 않다. 만일 존재한다면 자율 주행 트럭이 빠져나갈 수 있는 구멍이 있을 가능성이 높다.
 

AI 대상의 GDPR ‘설명을 요구할 권리’가 있는가?
지난해 발표된 기준 법률 분석에서 영국 옥스퍼드 인터넷 연구소 연구원 산드라 와터는 GDPR이 시행되면 AI가 ‘설명을 요구할 권리’에 의해 강력히 규제될 것이라는 당시 일반적이던 개념을 비판했다.

와터는 “법률 관점에서 보면 5월을 기준으로 어떤 것이 법적으로 의무화될 것인지 매우 명백하다”며 “‘설명을 요구할 권리’라는 말은 설명조항에서 한 번 언급된다. 설명조항은 법적 구속력이 없으며 따로 강제할 수 없다”고 말했다.

그녀의 설명에 따르면 설명조항의 목적은 법률 내 모호한 내용을 명확히 하기 위한 것이지만 이번 경우에는 모호함이 없다. 그녀는 “그 분석 논문을 쓴 이유는 해결해야 할 문제가 있다는 것에 대한 경각심을 불러일으키고 싶어서였다”며 자신은 법적 구속력이 있는 설명을 요구할 권리를 적극적으로 찬성한다고 밝혔다.

그러나, 와터의 반대자들은 그녀의 GDPR 해석에 동의하지 않는다. GDPR에 설명을 요구할 권리가 존재한다고 주장하는 논문을 셀브스트와 함께 공동으로 저술한 NYU 법대 연구원 줄리아 파울스는 “이 법률의 입법 의도는 매우 명확하다”고 전제하며 “[개인정보를] 언제 사용하고, 여기에 어떻게 접근하며, 생활과 삶의 기회에 개인정보가 어떻게 영향을 미칠지에 대해서 개인들에게 의미 있는 권리를 부여하는 것이 핵심”이라고 설명했다.

GDPR의 2대 핵심 원칙은 정보 처리 방식의 투명성과 책임이다. 따라서 GDPR에서 설명을 요구할 권리를 추론할 수 있다는 것이 파울스와 셀브스트의 주장이다. 그러나 점점 더 복잡해지는 AI 시스템에 ‘설명을 요구할 권리’을 구현하는 것은 기술적으로 어렵기 때문에 그러한 요건을 준수하는 것이 가능하기는 한 것인지 의문이 제기되기에 이르렀다.

 


2018.02.13

머신러닝은 자동화된 관료주의?··· '설명을 요구할 권리'와 AI

J.M. Porup | CSO

머신러닝과 인공지능이 보안팀 업무를 돕기 시작했다. 자칫 사람이 놓칠 수 있는 징후를 찾아내고 예측하며 판단해 주기 때문에 보안 업무 효율이 크게 개선될 수 있다. 하지만, 사람은 머신러닝과 인공지능이 어떠한 근거로 의사결정을 내렸는지 알지 못 한 채 결과를 받아들여야 할 수도 있다. 이들이 어떻게 의사결정을 내렸는지 요구한다면, 그로 인해 효율이 떨어질까?



“하지만 나는 죄가 없습니다.” K는 말했다. “착오가 있었습니다. 누군가가 죄가 있다는 것이 어떻게 가능하기나 합니까? 우리는 모두 서로 다를 바 없는 인간입니다.”
“맞습니다.” 목사가 말했다. “그렇지만 죄 있는 자들이 그렇게 이야기하지요.”


어딘지 ‘카프카’스러운가? 카프카의 <심판> 중 일부분이기 때문이다. <심판>은 이해할 수 없는 관료주의에 갇혀 이런저런 운명의 저주를 받고 자신에게 내려진 결정에 대해 이의를 제기할 길 없는, 한 무고한 남자의 악몽과도 같은 이야기다. 머신러닝은 자동화된 관료주의에 비유됐다. 유럽 규제 당국은 분명 머신러닝이 규제 없이 확산되면 우리 모두 K가 되는 세상이 올지도 모른다고 우려하고 있다.

1995년도 유럽 개인정보 보호 명령을 전면 개정한 것으로서 유럽인과 거래하는 모든 회사에게 적용될 GDPR은 머신러닝과 인공지능에 대해 어떤 내용을 담고 있을까? 사실 별 내용이 없다. 그래서 법학자들 사이에서는 새로운 법률하에 EU 사람들은 어떤 권리를 갖고, 유럽에서 영업하는 글로벌 회사에게 GDPR 준수는 어떤 모습이어야 할지에 대한 논쟁이 일고 있다.

논쟁의 중심은 설명조항(Recital) 71조에 한 번 등장하는 ‘설명을 요구할 권리(right to explanation)’라는 구절이다. 설명조항은 GDPR의 동반 문서로서 그 자체로 법적 강제성은 없다. 그러나, GDPR에는 정보 수집 주체가 소비자 정보를 어떻게 사용할지 소비자들에게 알려야 한다고 명시되어 있다. 통지 대상 내용에는 “자동화된 의사 결정의 존재 여부, 그리고 최소한 그러한 경우에는 관련된 논리에 대한 의미 있는 정보, 또한 정보 주체에 대한 그러한 정보 처리의 의미와 예상되는 결과” 등이 포함되어야 한다. [강조 표시는 임의로 추가]

상식적으로 해석하면 만일 컴퓨터가 인간의 개입 없이 현실에서 의사결정을 내린다면 그러한 의사결정 방식에 대해 모종의 책임이 있어야 한다는 의미다. 예를 들어, 은행의 머신러닝 모델이 고객에게 여신을 거부한다면, 또한 그러한 행위가 의미 있는 인간의 개입이 없이 이뤄진다면, 어떻게 그러한 결정을 내리게 되었는지 은행은 고객에게 설명해 주어야 할 의무가 있다고 일부 학자들은 주장한다.

뉴욕에 있는 데이터 앤 소사이어티(Data & Society) 연구소의 앤드류 셀브스트 연구원은 “사람들이 블랙박스 시스템이나 다름없는 것을 팔고 있다”고 지적했다. 그는 다음과 같이 덧붙였다. “일이 잘못되면 프로그래머들은 ‘이런 시스템은 아무도 이해하지 못한다’면서 투명성이 없는 것을 악용해 뒤로 숨는다. 궁극적으로 받아들일 수 있는 답변은 아니다. 우리에 관한 결정인데 우리가 검토할 수도 없는 방식으로 내린다면, 이를 거부하자는 것이다. 이 거부는 인간 존엄성과 인간 자율성의 표현이다.”

설명을 요구할 권리가 존재해야 한다는 강력한 주장에도 불구하고 그러한 권리가 유럽 법률하에 실제로 존재하는지는 확실하지 않다. 만일 존재한다면 자율 주행 트럭이 빠져나갈 수 있는 구멍이 있을 가능성이 높다.
 

AI 대상의 GDPR ‘설명을 요구할 권리’가 있는가?
지난해 발표된 기준 법률 분석에서 영국 옥스퍼드 인터넷 연구소 연구원 산드라 와터는 GDPR이 시행되면 AI가 ‘설명을 요구할 권리’에 의해 강력히 규제될 것이라는 당시 일반적이던 개념을 비판했다.

와터는 “법률 관점에서 보면 5월을 기준으로 어떤 것이 법적으로 의무화될 것인지 매우 명백하다”며 “‘설명을 요구할 권리’라는 말은 설명조항에서 한 번 언급된다. 설명조항은 법적 구속력이 없으며 따로 강제할 수 없다”고 말했다.

그녀의 설명에 따르면 설명조항의 목적은 법률 내 모호한 내용을 명확히 하기 위한 것이지만 이번 경우에는 모호함이 없다. 그녀는 “그 분석 논문을 쓴 이유는 해결해야 할 문제가 있다는 것에 대한 경각심을 불러일으키고 싶어서였다”며 자신은 법적 구속력이 있는 설명을 요구할 권리를 적극적으로 찬성한다고 밝혔다.

그러나, 와터의 반대자들은 그녀의 GDPR 해석에 동의하지 않는다. GDPR에 설명을 요구할 권리가 존재한다고 주장하는 논문을 셀브스트와 함께 공동으로 저술한 NYU 법대 연구원 줄리아 파울스는 “이 법률의 입법 의도는 매우 명확하다”고 전제하며 “[개인정보를] 언제 사용하고, 여기에 어떻게 접근하며, 생활과 삶의 기회에 개인정보가 어떻게 영향을 미칠지에 대해서 개인들에게 의미 있는 권리를 부여하는 것이 핵심”이라고 설명했다.

GDPR의 2대 핵심 원칙은 정보 처리 방식의 투명성과 책임이다. 따라서 GDPR에서 설명을 요구할 권리를 추론할 수 있다는 것이 파울스와 셀브스트의 주장이다. 그러나 점점 더 복잡해지는 AI 시스템에 ‘설명을 요구할 권리’을 구현하는 것은 기술적으로 어렵기 때문에 그러한 요건을 준수하는 것이 가능하기는 한 것인지 의문이 제기되기에 이르렀다.

 


X