Offcanvas

AI / How To / 디지털 트랜스포메이션 / 로봇|자동화 / 머신러닝|딥러닝 / 소프트스킬 / 신기술|미래

법적·제도적 위험성··· 안전한 AI 비즈니스를 위한 가이드

2018.02.21 Bob Violino  |  CIO

AI가 비즈니스 전반에 속속 접목되고 있다. 고객, 시장, 경쟁 기업에 대한 통찰을 얻고 다양한 프로세스를 자동화하기 위해 이 기술을 활용하는 기업이 늘고 있다.

하지만 AI는 각종 컴플라이언스 규제, 법률, 프라이버시, 윤리 등의 영역에서 광범위하면서도 숨겨진 위험 요소일 수 있다. 여러 업종의 수많은 실무자들이 상당한 비즈니스 위험을 향해 맹목적으로 달려가는 형국일 수 있는 셈이다.

이미 의료 및 금융 서비스 등 여러 정부 및 산업 규정을 준수해야 하는 산업의 기업들과 관련해서는 구체적인 우려의 목소리가 제기되고 있다.

법률 기업 폭스 로스차일드(Fox Rothschild)의 기술 실무 공동 회장이자 법률 활동을 기술, 프라이버시, 데이터 보안, 인프라 등에 집중하는 소프트웨어 엔지니어 출신의 댄 패리스는 “맥락, 윤리 및 데이터 품질은 특히 규제가 엄격한 산업에서 AI의 가치와 신뢰성에 영향을 끼칠 수 있는 문제다. 규제가 엄격한 산업에 AI를 배치하면 심각한 컴플라이언스 문제가 발생할 수 있다”라고 말했다.



위험할 수 있는 AI 비즈니스
금융 기술 기업들이 AI에 대대적으로 투자하고 있지만 이로 인해 발생할 수 있는 손실이나 행정 조치는 금융 서비스 기업들에게 재앙이 될 수 있다고 패리스가 강조했다. “예를 들어, 알고리즘이 고장 나거나 제대로 작동하지만 맥락이 잘못된 경우 무역상사 또는 투자자에게 상당한 손실이 발생할 수 있다”라고 그가 말했다.

또한 의료 분야는 특히 AI의 잠재적 위험성에 주목하지 않을 수 없는 예시를 제공한다. 패리스는 “예를 들어, 의료 영상에서 패턴을 식별하거나 상태를 진단하는데 도움이 될 수 있는 인식 기술이 있다. 의료 산업에서 AI를 배치하는 흔한 사례 중 하나다”라며, “사람의 눈 대신에 컴퓨터로 이미지 스캔하는 경우 더욱 정확할 수 있지만 동시에 파편적인 경향이 있다”라고 말했다. 환자에 대한 여타 맥락 정보를 가지고 수 년의 실무를 통해 발전시킨 직관이 있는 의사와는 달리 AI와 머신러닝 프로그램의 결과는 좁고 불완전할 수 있다는 설명이다.

패리스는 “의료적 판단의 이점 없이 이런 결과에 의존하면 실제로 환자 결과가 악화될 수 있다”라고 말했다.

뉴욕대학교(New York University)의 정보 시스템 교수이자 AI 및 머신러닝 전문가 바산트 다르는 기계도 실수한다는 점을 언급하며 “단 피로, 분노, 감정 또는 좁은 시야 등으로 인해 발생하는 인간의 실수와는 종류가 다를 수 있다”라고 말했다.

다르는 이어 “그렇다면 기계가 자율적으로 결정을 내리고 학습하여 향상되는 새로운 AI 세상에서 인간과 기계의 역할과 책임은 무엇일까? 만약 AI에 대해 입력에 기초해 결정을 내리는 ‘공장’으로 본다면 인간의 역할은 오류 관련 비용이 수용될 만한 수준일 수 있도록 공장을 설계하는 것이다”라고 말했다.

기계가 스스로 학습하여 향상된다면 인간은 이런 학습 과정의 품질을 확보할 책임이 있다는 주장이다. 그는 “오류의 비용이 너무 높을 때 기계를 신뢰해서는 안 된다”라고 설명했다.

다르는 규제를 책임진 이들이 우선 최신 AI 시스템이 유발할 수 있는 오류가 감당할 수 있는 수준인지 여부를 판단해야 한다고 말했다. 예를 들어, 교통 규제 기관은 자율주행 자동차가 연간 2만 명의 생명을 살릴 수 있기 때문에 이 기술이 사회에 가치가 있다고 판단할 수 있다. “하지만 보험 시장이 태동하려면 오류로 인한 피해를 제한할 수 있도록 규제를 고려해야 할 수도 있다”라고 그가 말했다.

의료 영역에서 규제 문제는 활용처에 좌우된다. 백내장 수술 등의 특정 영역은 이미 인간보다 뛰어난 경향이 있는 기계가 수행하고 있으며 최근의 연구에서 기계가 방사선 전문의와 병리학자보다 뛰어날 수 있음이 발견되었다고 다르가 말했다.

“하지만 기계도 여전히 실수하며 AI 도입 결정 시 그 비용을 고려해야 한다. 대부분 가치 계산을 예상할 수 있지만 일반 사례 결과와는 다른 ‘최악의 사례’를 반드시 감안해야 한다”라고 그는 말했다.

고려할 법적 문제
규제 고려사항 외에 AI 사용에는 법적 영향이 있을 수 있다. 국제 노동 및 고용 법률 기업 LM(Littler Mendelson) P.C.에서 근무하며 로봇공학, AI 및 자동화 산업 그룹 소속인 매트 쉐러는 “기계가 ‘잘못된’ 결정에 도달하거나 유해한 것으로 입증된 일련의 행동을 권장할 때 누가 책임을 질 것인가가 주요 문제 중 하나다”라고 말했다.

예를 들어, 의료 관련 문제의 경우 그 기술을 사용하는 의사 또는 병원이 책임을 져야 할까? 아니면 애플리케이션 디자이너 또는 프로그래머가 책임을 져야 할까? 쉐러는 “환자가 구체적으로 AI 시스템이 치료 과정을 결정하도록 요청한다면 어떻게 될까? 사람들 사이에는 기계가 인간보다 더 나은 판단을 내린다고 생각하는 경향이 있다. 즉 해당 목적을 위해 설계된 AI 시스템의 결정을 맹신한다는 점이 개인적으로 우려된다”라고 말했다.

법률 기업 H & H(Holland & Hart)의 기술 혁신 경영자 두크 추는 AI를 사용하는 조직의 일원이 최종 책임을 져야 할 수 있다고 말했다. 그는 “인공지능 또는 머신러닝이 결론에 도달하고 의사를 결정할 때 증거, 승인, 증명, 책임의 문제가 먼저 떠오른다”라고 말했다.

예를 들어, 금융 산업에서는 조직이 AI를 이용해 금융 보고서에 대한 정보를 수집하는 경우 제공된 정보가 정확하고 합목적적이며 정보의 신뢰성을 확보하기 위해 효과적으로 작동하는 적절한 통제가 마련되어 있음을 인간이 증명하고 서명해야 한다고 그는 말했다.

추는 “그러면 인간이 해당 진술을 작성했고 그렇게 할 수 있는 권한이 있음을 알 수 있다. 의료 영역에서 책임자는 AI를 활용해 일련의 증상을 알려진 질병 및 트렌드와 비교 분석하여 진단을 돕고 치료 계획을 작성할 수 있다. 두 경우 모두 인간이 최종 결정을 내리고 최종 답변에 서명하며 무엇보다도 실수의 영향에 대해 책임을 지는 것이다”라고 말했다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.