머신러닝과 인공지능이 보안팀 업무를 돕기 시작했다. 자칫 사람이 놓칠 수 있는 징후를 찾아내고 예측하며 판단해 주기 때문에 보안 업무 효율이 크게 개선될 수 있다. 하지만, 사람은 머신러닝과 인공지능이 어떠한 근거로 의사결정을 내렸는지 알지 못 한 채 결과를 받아들여야 할 수도 있다. 이들이 어떻게 의사결정을 내렸는지 요구한다면, 그로 인해 효율이 떨어질까?
“하지만 나는 죄가 없습니다.” K는 말했다. “착오가 있었습니다. 누군가가 죄가 있다는 것이 어떻게 가능하기나 합니까? 우리는 모두 서로 다를 바 없는 인간입니다.”
“맞습니다.” 목사가 말했다. “그렇지만 죄 있는 자들이 그렇게 이야기하지요.”
어딘지 ‘카프카’스러운가? 카프카의 <심판> 중 일부분이기 때문이다. <심판>은 이해할 수 없는 관료주의에 갇혀 이런저런 운명의 저주를 받고 자신에게 내려진 결정에 대해 이의를 제기할 길 없는, 한 무고한 남자의 악몽과도 같은 이야기다. 머신러닝은 자동화된 관료주의에 비유됐다. 유럽 규제 당국은 분명 머신러닝이 규제 없이 확산되면 우리 모두 K가 되는 세상이 올지도 모른다고 우려하고 있다.
1995년도 유럽 개인정보 보호 명령을 전면 개정한 것으로서 유럽인과 거래하는 모든 회사에게 적용될 GDPR은 머신러닝과 인공지능에 대해 어떤 내용을 담고 있을까? 사실 별 내용이 없다. 그래서 법학자들 사이에서는 새로운 법률하에 EU 사람들은 어떤 권리를 갖고, 유럽에서 영업하는 글로벌 회사에게 GDPR 준수는 어떤 모습이어야 할지에 대한 논쟁이 일고 있다.
논쟁의 중심은 설명조항(Recital) 71조에 한 번 등장하는 ‘설명을 요구할 권리(right to explanation)’라는 구절이다. 설명조항은 GDPR의 동반 문서로서 그 자체로 법적 강제성은 없다. 그러나, GDPR에는 정보 수집 주체가 소비자 정보를 어떻게 사용할지 소비자들에게 알려야 한다고 명시되어 있다. 통지 대상 내용에는 “자동화된 의사 결정의 존재 여부, 그리고 최소한 그러한 경우에는 관련된 논리에 대한 의미 있는 정보, 또한 정보 주체에 대한 그러한 정보 처리의 의미와 예상되는 결과” 등이 포함되어야 한다. [강조 표시는 임의로 추가]
상식적으로 해석하면 만일 컴퓨터가 인간의 개입 없이 현실에서 의사결정을 내린다면 그러한 의사결정 방식에 대해 모종의 책임이 있어야 한다는 의미다. 예를 들어, 은행의 머신러닝 모델이 고객에게 여신을 거부한다면, 또한 그러한 행위가 의미 있는 인간의 개입이 없이 이뤄진다면, 어떻게 그러한 결정을 내리게 되었는지 은행은 고객에게 설명해 주어야 할 의무가 있다고 일부 학자들은 주장한다.
뉴욕에 있는 데이터 앤 소사이어티(Data & Society) 연구소의 앤드류 셀브스트 연구원은 “사람들이 블랙박스 시스템이나 다름없는 것을 팔고 있다”고 지적했다. 그는 다음과 같이 덧붙였다. “일이 잘못되면 프로그래머들은 ‘이런 시스템은 아무도 이해하지 못한다’면서 투명성이 없는 것을 악용해 뒤로 숨는다. 궁극적으로 받아들일 수 있는 답변은 아니다. 우리에 관한 결정인데 우리가 검토할 수도 없는 방식으로 내린다면, 이를 거부하자는 것이다. 이 거부는 인간 존엄성과 인간 자율성의 표현이다.”
설명을 요구할 권리가 존재해야 한다는 강력한 주장에도 불구하고 그러한 권리가 유럽 법률하에 실제로 존재하는지는 확실하지 않다. 만일 존재한다면 자율 주행 트럭이 빠져나갈 수 있는 구멍이 있을 가능성이 높다.