Offcanvas

������������ AI

마냥 웃을 순 없다··· AI 그리고 ML 프로젝트, 얼마나 '안전'한가? 

인공지능과 머신러닝은 많은 이점을 제공한다. 하지만 동시에 새로운 취약점을 가져오기도 한다. 이러한 위험을 최소화할 방법을 살펴본다.  신기술을 도입할 때 보안을 뒷전으로 미루는 경우가 많다. 새로운 제품이나 서비스를 최대한 빠르게, 그리고 저렴하게 선보이는 게 더 중요하다고 판단해서다. 게다가 ‘완벽한 보안’은 시간이 오래 걸리고 비용도 많이 든다.  인공지능(AI)과 머신러닝(ML) 역시 보안 취약점이 있다. 이전의 기술 발전과 유사한 취약점과 설정 오류를 보이기도 하고, 이들만의 고유한 보안 위험이 있기도 하다.  만약 AI 중심 디지털 트랜스포메이션을 추진한다면 기업은 이러한 위험을 직면하게 될 가능성이 크다. 美 IT 컨설팅 회사 부즈 앨런 해밀턴(Booz Allen Hamilton)의 수석 과학자 에드워드 라프는 “서둘러선 안 되는 영역이다”라고 말했다.   AI와 ML은 다른 기술보다 더 많고 복잡한 데이터도 필요하다. 따라서 수학자와 데이터 과학자들이 개발한 알고리즘은 학문적인 연구 프로젝트에서 시작되는 경우가 많다. 라프는 “최근에서야 연구진들은 AI에 보안 문제가 있다는 것을 알게 됐다”라고 언급했다.  아울러 이들의 용량 및 처리 요건은 또 다른 수준의 복잡성과 취약점을 추가한다. 클라우드 플랫폼이 워크로드를 처리하는 경우가 많기 때문이다. 정리하자면, AI 도입에 있어 사이버보안이 가장 우려되는 위험인 것은 당연하다.  2020년 7월 발표된 딜로이트(Deloitte)의 한 보고서에 따르면 AI를 도입한 기업 가운데 62%가 사이버보안 위험을 가장 큰 혹은 주요 위험으로 보고 있지만, 이 위험을 해결할 준비가 됐다고 답한 기업은 39%에 불과했다. 이 문제를 더욱더 복잡하게 만드는 것은 사이버보안 자체에서 AI가 많이 사용된다는 점이다. 따라서 AI 경험이 풍부해질수록 기업들은 사이버보안 위험을 더 걱정한다고 딜로이트의 기술, 미디어, 통신 부문 전무이사 제프 룩스는 전했...

인공지능 머신러닝 AI ML 보안 보안 취약점 사이버보안 디지털 트랜스포메이션 데이터 과학 딜로이트 데이터 보호 전도 공격 설명가능성 블랙박스 AI 데이터 포이즈닝 편향 모델 드리프트 클라우드

2020.11.30

인공지능과 머신러닝은 많은 이점을 제공한다. 하지만 동시에 새로운 취약점을 가져오기도 한다. 이러한 위험을 최소화할 방법을 살펴본다.  신기술을 도입할 때 보안을 뒷전으로 미루는 경우가 많다. 새로운 제품이나 서비스를 최대한 빠르게, 그리고 저렴하게 선보이는 게 더 중요하다고 판단해서다. 게다가 ‘완벽한 보안’은 시간이 오래 걸리고 비용도 많이 든다.  인공지능(AI)과 머신러닝(ML) 역시 보안 취약점이 있다. 이전의 기술 발전과 유사한 취약점과 설정 오류를 보이기도 하고, 이들만의 고유한 보안 위험이 있기도 하다.  만약 AI 중심 디지털 트랜스포메이션을 추진한다면 기업은 이러한 위험을 직면하게 될 가능성이 크다. 美 IT 컨설팅 회사 부즈 앨런 해밀턴(Booz Allen Hamilton)의 수석 과학자 에드워드 라프는 “서둘러선 안 되는 영역이다”라고 말했다.   AI와 ML은 다른 기술보다 더 많고 복잡한 데이터도 필요하다. 따라서 수학자와 데이터 과학자들이 개발한 알고리즘은 학문적인 연구 프로젝트에서 시작되는 경우가 많다. 라프는 “최근에서야 연구진들은 AI에 보안 문제가 있다는 것을 알게 됐다”라고 언급했다.  아울러 이들의 용량 및 처리 요건은 또 다른 수준의 복잡성과 취약점을 추가한다. 클라우드 플랫폼이 워크로드를 처리하는 경우가 많기 때문이다. 정리하자면, AI 도입에 있어 사이버보안이 가장 우려되는 위험인 것은 당연하다.  2020년 7월 발표된 딜로이트(Deloitte)의 한 보고서에 따르면 AI를 도입한 기업 가운데 62%가 사이버보안 위험을 가장 큰 혹은 주요 위험으로 보고 있지만, 이 위험을 해결할 준비가 됐다고 답한 기업은 39%에 불과했다. 이 문제를 더욱더 복잡하게 만드는 것은 사이버보안 자체에서 AI가 많이 사용된다는 점이다. 따라서 AI 경험이 풍부해질수록 기업들은 사이버보안 위험을 더 걱정한다고 딜로이트의 기술, 미디어, 통신 부문 전무이사 제프 룩스는 전했...

2020.11.30

투명성이 만병통치약?··· 블랙박스 AI의 위험을 완화하는 방법

머신러닝의 의사결정 과정을 이해할 수 없다면 이를 어떻게 신뢰할 수 있을까? 하지만 그렇다고 해서 설명 가능한 인공지능(XAI)이 모든 불안을 없애 줄까? AI 투명성이 모든 문제를 해결하는 만병통치약은 아니다. 머신러닝 모델의 투명성이 증가하면 AI에 대한 신뢰도 높아지겠지만, 이와 함께 위험도 따라온다. 기업이 머신러닝에 거는 기대가 매우 크다. 그러나 AI의 핵심인 머신러닝은 기업의 법률 및 보안 전문가를 당혹스럽게 만들고 있다.  AI를 둘러싼 가장 큰 우려 중 하나는 머신러닝 기반 모델이 ‘블랙박스’로 작동한다는 점이다. 다시 말해 머신러닝 모델, 특히 인공 신경망으로 구성된 딥 러닝 모델이 너무 복잡하고 난해해서 AI 설계자조차 자동화된 추론이 어떻게 도출되는지를 이해하기 어렵다. 이로 인해 머신러닝 기반 애플리케이션의 자동화된 결정이 낳은 편향과 여타 부적절한 결과에 대한 책임 소재가 모호해질 수 있다.  이런 위험을 완화하기 위해 사람들은 머신러닝이 작동하는 방식 그리고 머신러닝 모델이 개발, 학습, 배치되는 워크플로 전체에 걸쳐 투명성이 높아져야 한다고 주장하기 시작했다. 알고리즘 투명성은 설명 가능성, 해석 가능성, 책임성이라고도 알려져 있다. 현직 데이터 과학자들 사이에서 알고리즘 투명성을 위한 새로운 프레임워크가 도입되고 있다. 대표적으로 라임(LIME), 샤플리(Sharpley), 딥라이프트(DeepLIFT), 스케이터(Skater), AI 익스플레인너빌리티 360(AI Explainability 360), 왓-이프 툴(What-If Tool), 액티베이션 아틀라스(Activation Atlases), 인터프리트ML(InterpretML), 룰렉스 익스플레인너블 AI(Rulex Explainable AI) 등이 있다.  이러한 툴과 기법은 데이터 과학자가 여러 조건 하에서 특정 데이터 입력이 특정 알고리즘적 해석을 어떻게 도출하는가에 대한 ‘사후적 설명(post-hoc explanations)’을 생...

해킹 기술취약점 AI투명성 블랙박스 AI 딥러닝 머신러닝 알고리즘 지적재산권 인공지능 프라이버시 설명가능한AI

2020.01.06

머신러닝의 의사결정 과정을 이해할 수 없다면 이를 어떻게 신뢰할 수 있을까? 하지만 그렇다고 해서 설명 가능한 인공지능(XAI)이 모든 불안을 없애 줄까? AI 투명성이 모든 문제를 해결하는 만병통치약은 아니다. 머신러닝 모델의 투명성이 증가하면 AI에 대한 신뢰도 높아지겠지만, 이와 함께 위험도 따라온다. 기업이 머신러닝에 거는 기대가 매우 크다. 그러나 AI의 핵심인 머신러닝은 기업의 법률 및 보안 전문가를 당혹스럽게 만들고 있다.  AI를 둘러싼 가장 큰 우려 중 하나는 머신러닝 기반 모델이 ‘블랙박스’로 작동한다는 점이다. 다시 말해 머신러닝 모델, 특히 인공 신경망으로 구성된 딥 러닝 모델이 너무 복잡하고 난해해서 AI 설계자조차 자동화된 추론이 어떻게 도출되는지를 이해하기 어렵다. 이로 인해 머신러닝 기반 애플리케이션의 자동화된 결정이 낳은 편향과 여타 부적절한 결과에 대한 책임 소재가 모호해질 수 있다.  이런 위험을 완화하기 위해 사람들은 머신러닝이 작동하는 방식 그리고 머신러닝 모델이 개발, 학습, 배치되는 워크플로 전체에 걸쳐 투명성이 높아져야 한다고 주장하기 시작했다. 알고리즘 투명성은 설명 가능성, 해석 가능성, 책임성이라고도 알려져 있다. 현직 데이터 과학자들 사이에서 알고리즘 투명성을 위한 새로운 프레임워크가 도입되고 있다. 대표적으로 라임(LIME), 샤플리(Sharpley), 딥라이프트(DeepLIFT), 스케이터(Skater), AI 익스플레인너빌리티 360(AI Explainability 360), 왓-이프 툴(What-If Tool), 액티베이션 아틀라스(Activation Atlases), 인터프리트ML(InterpretML), 룰렉스 익스플레인너블 AI(Rulex Explainable AI) 등이 있다.  이러한 툴과 기법은 데이터 과학자가 여러 조건 하에서 특정 데이터 입력이 특정 알고리즘적 해석을 어떻게 도출하는가에 대한 ‘사후적 설명(post-hoc explanations)’을 생...

2020.01.06

"블랙박스 알고리즘, 인간 관련 분야에 허용하면 안 된다"

시드니대학교의 한 데이터 과학자는 인간과 관련된 활용처에 블랙박스 알고리즘을 허용해서는 안 된다고 판단하고 있다. 다음 주 열리는 EDS(Ethics of Data Science) 컨퍼런스에 앞서 CMO 와 대화를 나눈 시드니대학교의 강사이자 데이터 과학자인 로만 마찬트 박사는 기업이 블랙박스 알고리즘을 활용하는 일은 흔하지만 인간의 삶에 적용해서는 안 된다고 말했다.  왜냐하면 블랙박스를 '열어' 알고리즘이 어떻게 결론을 도출하는지 확인할 수 없기 때문에 투명하거나 책임감 있게 해석할 수 없기 때문이라고 그가 말했다.  마찬트는 "기업 다수가 블랙박스 알고리즘, 즉 딥러닝이나 신경망 기술을 활용하여 결과를 도출한다. 그럴 만한 이유가 있을 것이다. 그러나 (블랙박스 알고리즘을) 인간 데이터에 사용하기는 매우 까다로우며 결과가 인간의 삶에 영향을 끼칠 때는 사용하지 않아야 한다고 생각한다. 왜냐하면 박스를 열어 백그라운드에서 알고리즘이 무엇을 하고 있는지 파악할 수 없기 때문이다”라고 말했다. 그는 이어 "이런 모델을 적용하는 문제의 유형은 인간이 영향을 받지 않는 자동화된 기계 등의 분야여야 한다. 하지만 인간의 경우 이런 모델을 허용해서는 안 된다고 생각한다"라고 덧붙였다. 마찬트에 따르면 고객 여정과 개인화를 개선하기 위한 데이터와 분석은 현재 마케팅의 핵심 흐름이지만 대부분의 데이터에는 편향이 내재되어 있다. 시드니대학교에 따르면 알고리즘은 모든 머신러닝 및 인공지능에서 기본적인 도구이지만 여러 윤리적인 문제가 있을 수 있다. 편향되고 정확하지 않은 데이터에 기초하여 구축된 모델은 자율주행 자동차의 안전 및 법적 영향에서부터 올바르지 않은 범죄 처벌, 전쟁에서의 자동화된 무기 사용까지 심각한 영향과 위험한 결과를 초래할 수 있다는 지적이다. 마찬트 박사는 대부분의 기업들이 데이터에 편향성이 있다는 사실을 모르고 있다고 지적했다. 그는 "예를 들어, 데이터 세트에 ...

설명 가능한 AI 데이터 편향 블랙박스 AI

2019.03.27

시드니대학교의 한 데이터 과학자는 인간과 관련된 활용처에 블랙박스 알고리즘을 허용해서는 안 된다고 판단하고 있다. 다음 주 열리는 EDS(Ethics of Data Science) 컨퍼런스에 앞서 CMO 와 대화를 나눈 시드니대학교의 강사이자 데이터 과학자인 로만 마찬트 박사는 기업이 블랙박스 알고리즘을 활용하는 일은 흔하지만 인간의 삶에 적용해서는 안 된다고 말했다.  왜냐하면 블랙박스를 '열어' 알고리즘이 어떻게 결론을 도출하는지 확인할 수 없기 때문에 투명하거나 책임감 있게 해석할 수 없기 때문이라고 그가 말했다.  마찬트는 "기업 다수가 블랙박스 알고리즘, 즉 딥러닝이나 신경망 기술을 활용하여 결과를 도출한다. 그럴 만한 이유가 있을 것이다. 그러나 (블랙박스 알고리즘을) 인간 데이터에 사용하기는 매우 까다로우며 결과가 인간의 삶에 영향을 끼칠 때는 사용하지 않아야 한다고 생각한다. 왜냐하면 박스를 열어 백그라운드에서 알고리즘이 무엇을 하고 있는지 파악할 수 없기 때문이다”라고 말했다. 그는 이어 "이런 모델을 적용하는 문제의 유형은 인간이 영향을 받지 않는 자동화된 기계 등의 분야여야 한다. 하지만 인간의 경우 이런 모델을 허용해서는 안 된다고 생각한다"라고 덧붙였다. 마찬트에 따르면 고객 여정과 개인화를 개선하기 위한 데이터와 분석은 현재 마케팅의 핵심 흐름이지만 대부분의 데이터에는 편향이 내재되어 있다. 시드니대학교에 따르면 알고리즘은 모든 머신러닝 및 인공지능에서 기본적인 도구이지만 여러 윤리적인 문제가 있을 수 있다. 편향되고 정확하지 않은 데이터에 기초하여 구축된 모델은 자율주행 자동차의 안전 및 법적 영향에서부터 올바르지 않은 범죄 처벌, 전쟁에서의 자동화된 무기 사용까지 심각한 영향과 위험한 결과를 초래할 수 있다는 지적이다. 마찬트 박사는 대부분의 기업들이 데이터에 편향성이 있다는 사실을 모르고 있다고 지적했다. 그는 "예를 들어, 데이터 세트에 ...

2019.03.27

블랙박스 AI 아닌 '설명 가능 인공지능'이어야 하는 이유

인공지능 엔진이 어떻게 의사 결정을 내릴까? 이는 시스템을 좀더 자세히 조사해야 하는 많은 논리적이고 윤리적인 이유 중 하나에 불과하다. 18세기 후반 볼프강 폰 켐펠렌(Wolfgang von Kempelen)은 메카니컬 터크(Mechanical Turk)라는 체스 로봇을 만들어 세상을 놀라게 했다. 이 로봇이 나폴레옹 보나파르트와 벤자민 프랭클린을 비롯한 능력 있는 상대를 물리쳤기 때문이다. 구경꾼들은 기어와 톱니바퀴로 만들어진 이 장치가 복잡한 체스를 어떻게 마스터 할 수 있었는지에 놀랐고 그 내부에 무엇이 있는지 알고 싶어 했다. 나중에 알고 보니 메카니컬 터크 안에는 실제 사람이 들어가 앉아 있었던 것이었다. 구경꾼들이 내부를 들여다볼 수 없었던 점을 이용한 단순하면서도 매우 효과적인 속임수였다. 메카니컬 터크에 이야기는 100년이 넘었지만 인공지능(AI)의 활용이 늘어나고 있는 현대사회에서 유용한 비유가 될 수 있다. AI의 구현 방식을 거의 이해하지 못한 상태에서 우리가 얼마나 결과에 의존하는지에 대해서도 마찬가지다. AI 시스템의 불명확함은 특히 의도적이거나 의도하지 않은 데이터 편향의 장기적인 영향을 통해 악용 가능성이 커진다. 이는 많은 컴퓨터 과학자와 연구원들 사이에서 주요 주제가 됐고 설명 가능 인공지능(Explainable AI∙XAI)의 개념을 탄생시켰다. 스탠퍼드대학교에서 컴퓨터 과학 분야의 전략적 연구 이니셔티브 책임 연구자인 스티븐 이글래시 박사는 XAI의 잠재력을 옹호하는 사람 중 하나다. 7월 19일 열린 멜버른 비즈니스 분석 컨퍼런스(Melbourne Business Analytics Conference)에 마련된 자신의 차례에 앞서 CMO와 가진 인터뷰에서 이글래시 박사는 효과적인 ‘블랙박스’인 AI 시스템을 우리가 어떻게 만들 수 있을지를 설명했다. AI로 인한 결과가 어떻게 만들어지는지 모를 경우 그들의 영향력을 감안하면 그 결과와 결정으로 인해 감정이 상...

CMO 윤리 인공지능 체스 XAI 블랙박스 AI 설명 가능 인공지능 스탠퍼드대학 대출 심사

2018.07.18

인공지능 엔진이 어떻게 의사 결정을 내릴까? 이는 시스템을 좀더 자세히 조사해야 하는 많은 논리적이고 윤리적인 이유 중 하나에 불과하다. 18세기 후반 볼프강 폰 켐펠렌(Wolfgang von Kempelen)은 메카니컬 터크(Mechanical Turk)라는 체스 로봇을 만들어 세상을 놀라게 했다. 이 로봇이 나폴레옹 보나파르트와 벤자민 프랭클린을 비롯한 능력 있는 상대를 물리쳤기 때문이다. 구경꾼들은 기어와 톱니바퀴로 만들어진 이 장치가 복잡한 체스를 어떻게 마스터 할 수 있었는지에 놀랐고 그 내부에 무엇이 있는지 알고 싶어 했다. 나중에 알고 보니 메카니컬 터크 안에는 실제 사람이 들어가 앉아 있었던 것이었다. 구경꾼들이 내부를 들여다볼 수 없었던 점을 이용한 단순하면서도 매우 효과적인 속임수였다. 메카니컬 터크에 이야기는 100년이 넘었지만 인공지능(AI)의 활용이 늘어나고 있는 현대사회에서 유용한 비유가 될 수 있다. AI의 구현 방식을 거의 이해하지 못한 상태에서 우리가 얼마나 결과에 의존하는지에 대해서도 마찬가지다. AI 시스템의 불명확함은 특히 의도적이거나 의도하지 않은 데이터 편향의 장기적인 영향을 통해 악용 가능성이 커진다. 이는 많은 컴퓨터 과학자와 연구원들 사이에서 주요 주제가 됐고 설명 가능 인공지능(Explainable AI∙XAI)의 개념을 탄생시켰다. 스탠퍼드대학교에서 컴퓨터 과학 분야의 전략적 연구 이니셔티브 책임 연구자인 스티븐 이글래시 박사는 XAI의 잠재력을 옹호하는 사람 중 하나다. 7월 19일 열린 멜버른 비즈니스 분석 컨퍼런스(Melbourne Business Analytics Conference)에 마련된 자신의 차례에 앞서 CMO와 가진 인터뷰에서 이글래시 박사는 효과적인 ‘블랙박스’인 AI 시스템을 우리가 어떻게 만들 수 있을지를 설명했다. AI로 인한 결과가 어떻게 만들어지는지 모를 경우 그들의 영향력을 감안하면 그 결과와 결정으로 인해 감정이 상...

2018.07.18

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.5