2017.01.12

칼럼 | 최종 책임은 누가? 봇 속에 숨은 또다른 위험

Evan Schuman | Computerworld
오늘날 기업들은 인공지능(A.I.) 봇을 활용할 최적의 방법을 모색하고 있으며, 이 새로운 기술은 빠른 속도로 우리 사회의 다양한 영역으로 확산되고 있다. 그러나 이를 고객과의 직접 소통에 이용하는 것은, 법적 책임과 관련한 몇 가지 새로운 고민을 낳기도 한다.


Credit: Pixabay

A.I. 봇이 도출한 답변으로 인해 고객에게 금전적 손해가 발생할 경우, 기업에 일정 부분 이상의 책임을 지울 수 있을까? 또는 동일한 답변을 봇을 통해 전달하는 경우와 콜센터 담당자가 전달하는 경우, 그 책임 범위는 동일할까? 대부분 상황에서 이 2가지 질문에 대해 모두 ‘그렇다’로 답할 것이다.

예를 들어보자. 여기 한 핀테크 은행이 있다. 이 은행은 퇴직 연금과 관련한 일반 문의 처리는 대부분 봇에 의지하고 있다. 그러나 그 시스템에 답변을 프로그래밍한 것은, 어디까지나 사람이다. 봇 설정에 오류가 발생해 고객이 특정 기한을 놓치고, 결과적으로 많은 기회 손실을 겪는 상황을 가정해보자. 피해를 본 고객은 소송을 제기했고, 이제 판단은 판사의 손으로 넘어갔다. 판사라면 이 상황을, 실제 인간 직원이 실수를 저지른 경우와 다르게 해석하고 판결할까?

또다른 가정을 들어보자. 위의 직원은 올해 나이 22세고, 현재의 직무를 담당한 지 막 일주일을 넘긴 상태다. 이 경우 담당 판사 혹은 배심원단은 그의 실수가 자신의 판단에 의한 것이라 해석할 수 있지만, 반대로 코드를 작성하고 검토하며 승인한 다수(법무팀을 포함한)의 실수에 의한, 거시적이고 장기적인 문제라 해석할 수도 있을 것이다.

이러한 논쟁은 호스트 책임 관련 법률과 많은 유사성을 띈다. 법률상 특정 파티 혹은 행사에서 음주 관련 사고가 발생할 경우, 그와 관련한 행사 주최자의 책임 여부는 행사에서 주류 서빙이 이뤄졌는지, 혹은 바텐더가 배치됐는지에 따라 달라진다. 행사 참여시 바텐더는 과음한 사람을 인지하고 그에 대한 조치의 책임이 자신에게 있음을 이해해야 하는 인물로 간주되며, 특히 전문 바텐더의 경우 판단에 더 엄격한 기준이 적용된다.

당신의 A.I. 봇은 위의 전문 바텐더이며 동시에 22세의 신입 직원이다. 봇은 고객이 전달한 질문에 대해 자신에게 입력된 답을 논리적으로 다룰 수 있는 존재지만, 동시에 관리자의 작은 실수마저 의심 없이 따르는 존재이기도 하다. 결국, 당신의 책임은 매우 커질 가능성이 있는 것이다.

마이클 스텔리는 수년간 트랜스아메리카 리타이어먼트(Transamerica Retirement, 2015년 12월 31일 기준 보유 계약액 규모 2,020억 달러)의 모바일 개발을 이끌어온 인물이다. 현재는 회사를 은퇴한 상태인 스텔리는 자신의 로스쿨 학업 경험을 이야기하며, “봇과 관련한 기업의 책임 범위는 매우 가변적이다. 문제는 봇을 이용하는 많은 기업이 이 점을 간과한다는 데 있다. 언제 큰 문제가 발생해도 이상하지 않을 상황이다”라고 지적했다.

스텔리는 “물론 봇이 현업에 투입돼 실제 발화 도구로 기능하기까지는 여러 승인 절차를 거치게 된다. (상용을 위해) 애플이나 구글에 전달되기에 앞서, 기업 법무팀은 봇에 대한 철저한 검증을 거친다. 각종 신탁 상품에 대비해야 하는 사업의 특성상, 금융사는 언제나 다양하고 많은 변호사 인력을 확보하고 있다. 모두 문제 발견 시 솔루션을 멈출 권한을 가진 이들이다”고 이야기했다.

봇은 훈련을 제대로 받지 못한 사람과 비교하면 훨씬 자율성이 뛰어난 존재다.

하지만 봇은 소프트웨어이며, 세상에 완벽한 소프트웨어란 존재하지 않는다. 스텔리는 “어떤 프로그램이든 버그를 가지고 있다. 그리고 온전히 통제된 환경에서 이 프로그램에 대한 부하 테스트를 진행하기란 현실적으로 불가능하다. 코드가 유의미한 테스트 결과를 확보하기 위해선, 일단 대규모의 고객 집단에 실제 배포되는 과정이 필요하다. 다시 말해 봇을 야생에 풀어놔야 한다”라고 설명했다.

계약 조항에 특정 권리 포기 사항을 명시해 자신들의 책임을 제한하는 것도 기업들이 쓸 방법이지만, 이런 조항 역시 다양한 고객 집단의 보편적 용례 전부를 포괄하기엔 한계가 있다. “우리는 고객에게 발생하는 어떤 손실에 대해서도 책임지지 않습니다”라는 문구를 모든 금융 상품에 명시에 둔다면, 그 문구에 큰 의미는 없어질 것이다.


A.I. 봇 도입을 검토 중인 기업들이라면, 맥락을 따져 판단할 수 있는 사람을 훈련하는 대신, 아직 완전히 입증되지 않은 새로운 기술에 의지한다는 것이 외부, 특히 법률 해석자들에게 어떻게 비칠지 다시 한번 고민해보길 권한다.

물론 책임에 관한 판단은 판사나 배심원에 의해 달라질 수 있는 부분이지만, 책임 범위에 대한 판단은 행위 주체가 봇인지, 인간인지 아닌지가 아닌, 그것이 기업의 공식적인 대변인으로서 문제를 일으켰다는 점에 더 초점이 맞춰진다는 게 스텔리의 주장이다.

그는 “배심원이 상황을 매우 다르게 해석할 여지가 있다. 그러나 그들의 감정적 판단을 우회하기란 쉽지 않은 일일 것이다. 모든 것은 인식에 달려있다”고 설명했다.

결국 핵심은 통제의 문제로 귀결된다. (소프트웨어 외부의) 모든 것이 온전하게 기능할 경우, 기업들은 봇의 발언 전부를 거의 완전히 통제할 수 있다. 그런데도 코드의 결함으로 인간이라면 저지르지 않을 실수를 봇이 저지를 가능성은 남아있다. 반대로 사람은, 프로그래밍된 봇이라면 절대 저지르지 않을 감정적 실수를 범할 여지를 안고 있다.

봇이 비용 절감에 기여할 수 있다는 데에는 거의 이견이 없다. 하지만 이것이 야기할 수 있는 추후 비용에 관해서는, 좀 더 진지한 고민이 필요할 것이다.

* Evan Schuman은 IT 분야 전문 기고가로 리테일 테크놀로지 사이트 스토어프론티백토크의 설립 편집자다. ciokr@idg.co.kr
 



2017.01.12

칼럼 | 최종 책임은 누가? 봇 속에 숨은 또다른 위험

Evan Schuman | Computerworld
오늘날 기업들은 인공지능(A.I.) 봇을 활용할 최적의 방법을 모색하고 있으며, 이 새로운 기술은 빠른 속도로 우리 사회의 다양한 영역으로 확산되고 있다. 그러나 이를 고객과의 직접 소통에 이용하는 것은, 법적 책임과 관련한 몇 가지 새로운 고민을 낳기도 한다.


Credit: Pixabay

A.I. 봇이 도출한 답변으로 인해 고객에게 금전적 손해가 발생할 경우, 기업에 일정 부분 이상의 책임을 지울 수 있을까? 또는 동일한 답변을 봇을 통해 전달하는 경우와 콜센터 담당자가 전달하는 경우, 그 책임 범위는 동일할까? 대부분 상황에서 이 2가지 질문에 대해 모두 ‘그렇다’로 답할 것이다.

예를 들어보자. 여기 한 핀테크 은행이 있다. 이 은행은 퇴직 연금과 관련한 일반 문의 처리는 대부분 봇에 의지하고 있다. 그러나 그 시스템에 답변을 프로그래밍한 것은, 어디까지나 사람이다. 봇 설정에 오류가 발생해 고객이 특정 기한을 놓치고, 결과적으로 많은 기회 손실을 겪는 상황을 가정해보자. 피해를 본 고객은 소송을 제기했고, 이제 판단은 판사의 손으로 넘어갔다. 판사라면 이 상황을, 실제 인간 직원이 실수를 저지른 경우와 다르게 해석하고 판결할까?

또다른 가정을 들어보자. 위의 직원은 올해 나이 22세고, 현재의 직무를 담당한 지 막 일주일을 넘긴 상태다. 이 경우 담당 판사 혹은 배심원단은 그의 실수가 자신의 판단에 의한 것이라 해석할 수 있지만, 반대로 코드를 작성하고 검토하며 승인한 다수(법무팀을 포함한)의 실수에 의한, 거시적이고 장기적인 문제라 해석할 수도 있을 것이다.

이러한 논쟁은 호스트 책임 관련 법률과 많은 유사성을 띈다. 법률상 특정 파티 혹은 행사에서 음주 관련 사고가 발생할 경우, 그와 관련한 행사 주최자의 책임 여부는 행사에서 주류 서빙이 이뤄졌는지, 혹은 바텐더가 배치됐는지에 따라 달라진다. 행사 참여시 바텐더는 과음한 사람을 인지하고 그에 대한 조치의 책임이 자신에게 있음을 이해해야 하는 인물로 간주되며, 특히 전문 바텐더의 경우 판단에 더 엄격한 기준이 적용된다.

당신의 A.I. 봇은 위의 전문 바텐더이며 동시에 22세의 신입 직원이다. 봇은 고객이 전달한 질문에 대해 자신에게 입력된 답을 논리적으로 다룰 수 있는 존재지만, 동시에 관리자의 작은 실수마저 의심 없이 따르는 존재이기도 하다. 결국, 당신의 책임은 매우 커질 가능성이 있는 것이다.

마이클 스텔리는 수년간 트랜스아메리카 리타이어먼트(Transamerica Retirement, 2015년 12월 31일 기준 보유 계약액 규모 2,020억 달러)의 모바일 개발을 이끌어온 인물이다. 현재는 회사를 은퇴한 상태인 스텔리는 자신의 로스쿨 학업 경험을 이야기하며, “봇과 관련한 기업의 책임 범위는 매우 가변적이다. 문제는 봇을 이용하는 많은 기업이 이 점을 간과한다는 데 있다. 언제 큰 문제가 발생해도 이상하지 않을 상황이다”라고 지적했다.

스텔리는 “물론 봇이 현업에 투입돼 실제 발화 도구로 기능하기까지는 여러 승인 절차를 거치게 된다. (상용을 위해) 애플이나 구글에 전달되기에 앞서, 기업 법무팀은 봇에 대한 철저한 검증을 거친다. 각종 신탁 상품에 대비해야 하는 사업의 특성상, 금융사는 언제나 다양하고 많은 변호사 인력을 확보하고 있다. 모두 문제 발견 시 솔루션을 멈출 권한을 가진 이들이다”고 이야기했다.

봇은 훈련을 제대로 받지 못한 사람과 비교하면 훨씬 자율성이 뛰어난 존재다.

하지만 봇은 소프트웨어이며, 세상에 완벽한 소프트웨어란 존재하지 않는다. 스텔리는 “어떤 프로그램이든 버그를 가지고 있다. 그리고 온전히 통제된 환경에서 이 프로그램에 대한 부하 테스트를 진행하기란 현실적으로 불가능하다. 코드가 유의미한 테스트 결과를 확보하기 위해선, 일단 대규모의 고객 집단에 실제 배포되는 과정이 필요하다. 다시 말해 봇을 야생에 풀어놔야 한다”라고 설명했다.

계약 조항에 특정 권리 포기 사항을 명시해 자신들의 책임을 제한하는 것도 기업들이 쓸 방법이지만, 이런 조항 역시 다양한 고객 집단의 보편적 용례 전부를 포괄하기엔 한계가 있다. “우리는 고객에게 발생하는 어떤 손실에 대해서도 책임지지 않습니다”라는 문구를 모든 금융 상품에 명시에 둔다면, 그 문구에 큰 의미는 없어질 것이다.


A.I. 봇 도입을 검토 중인 기업들이라면, 맥락을 따져 판단할 수 있는 사람을 훈련하는 대신, 아직 완전히 입증되지 않은 새로운 기술에 의지한다는 것이 외부, 특히 법률 해석자들에게 어떻게 비칠지 다시 한번 고민해보길 권한다.

물론 책임에 관한 판단은 판사나 배심원에 의해 달라질 수 있는 부분이지만, 책임 범위에 대한 판단은 행위 주체가 봇인지, 인간인지 아닌지가 아닌, 그것이 기업의 공식적인 대변인으로서 문제를 일으켰다는 점에 더 초점이 맞춰진다는 게 스텔리의 주장이다.

그는 “배심원이 상황을 매우 다르게 해석할 여지가 있다. 그러나 그들의 감정적 판단을 우회하기란 쉽지 않은 일일 것이다. 모든 것은 인식에 달려있다”고 설명했다.

결국 핵심은 통제의 문제로 귀결된다. (소프트웨어 외부의) 모든 것이 온전하게 기능할 경우, 기업들은 봇의 발언 전부를 거의 완전히 통제할 수 있다. 그런데도 코드의 결함으로 인간이라면 저지르지 않을 실수를 봇이 저지를 가능성은 남아있다. 반대로 사람은, 프로그래밍된 봇이라면 절대 저지르지 않을 감정적 실수를 범할 여지를 안고 있다.

봇이 비용 절감에 기여할 수 있다는 데에는 거의 이견이 없다. 하지만 이것이 야기할 수 있는 추후 비용에 관해서는, 좀 더 진지한 고민이 필요할 것이다.

* Evan Schuman은 IT 분야 전문 기고가로 리테일 테크놀로지 사이트 스토어프론티백토크의 설립 편집자다. ciokr@idg.co.kr
 

X