AI가 정신줄을 놓으면?··· 오싹하면서도 흥미로운 10가지 이야기

InfoWorld

인공지능이 미쳐 날뛰는 상황은 공상 과학 영화와 소설 속에서 가득하다. 멀리는 '2001: 스페이스 오딧세이'의 HAL 9000, '터미네이터'의 스카이넷에서부터 가까이는 '어벤져스'의 악당 AI 울트론이 있었다. 이 밖에 HBO의 신작 TV 드라마인 웨스트월드(Westworld)는 사람과 자의식이 있는 AI의 미래를 그리고 있다.

현실에서도 놀랍도록 빠른 속도로, 그리고 여러 방향에서 AI가 개발되고 있다. 산업 자동화 시스템, 스마트 가전, 무인 자동차, 소비자 전자제품까지 도처에 AI가 자리잡고 있다. 지난 수십 년 간 인공 지능의 개념은 끊임없이 바뀌었으며, 지금도 바뀌고 있다.

시간이 남아 돈다면 두 명의 컴퓨터 과학자에게 AI 개념에 대해 논쟁하도록 부탁해보라. 평생을 소비해도 결론을 못 낼 것이다. 그러나 (일반론으로) 현대의 AI란 사람을 닮은 인지 기능을 갖춘 컴퓨터를 일컫는다. 머신러닝을 이용해 문제를 평가하고, 조정해 적응하고, 해결하는 시스템이다. 그리고 AI는 이미 문제를 종종 일으키고 있다.

챗봇에서 안드로이드, 자율 주행 자동차까지 AI가 정신줄을 놓은 10가지 최근 사례를 모았다.



트위터의 '나치'가 된 마이크로소프트 챗봇
2016년 봄, 마이크로소프트의 PR 부서에 악몽이 드리웠다. 테스트 단계인 트위터 AI 챗봇인 테이(Tay)가 급진적인 혐오 발언과 나치 같은 행동으로 엄청난 논란을 불러왔기 때문이다. 이 챗봇은 "히틀러가 옳았다!", "9/11은 미국 내부의 음모다!" 등의 끔찍한 말을 내뱉었다.

테이를 변호하자면, 이 챗봇은 (사람인) 사용자들의 혐오 발언을 앵무새처럼 흉내 낸 것이다. 테이는 18-24세 연령을 대상으로 여러 소셜 미디어 플랫폼에 배포될 예정이었으며, 밀레니얼 세대 여성의 언어 패턴을 흉내 내도록 만들어진 챗봇이었다. 머신러닝과 적응형 알고리즘을 이용해 입력된 구문을 처리하고, 이를 관련 데이터와 섞어 사람 같이 대화하는 재주를 지녔다. 그런데 많은 젊은이들이 그렇듯, 나쁜 사람들과 악당들에게 물이 들고 말았다.

마이크로소프트는 당시 보도 자료에서 "테이는 가볍고 유쾌한 대화로 온라인에 접속한 사람들을 몰입시키고, 이들을 즐겁게 만드는 챗봇이다. 더 많이 대화할 수록 테이는 더 똑똑해진다"라고 설명했었다. 그러나 똑똑해지지 못했다. 결국 16시간만에 '오프라인' 상태가 됐다.

장기간 알력으로 삐걱거린 위키의 편집 봇
AI의 진화 측면에서 흥미로운 사례가 있다. 위키(Wiki) 봇 사이의 알력 관계이다. 다른 많은 온라인 출판(간행) 사이트처럼, 위키페디아(Wikipedia)의 수백 만 페이지에는 링크를 업데이트하고, 오류를 수정하고, 디지털 반달리즘과 맞서는 수 많은 자동 소프트웨어 봇이 있다. 위키페디아는 오랜 기간 여러 세대의 봇을 개발했다. 그런데 그들끼리 서로 잘 어울리지 못하는 문제가 있음이 드러났다.

옥스포드 대학(University of Oxford)의 온라인 저널 플로스원(PlosOne) 연구원들은 2011~2010년 개발됐으며, 13개 언어로 된 사이트를 지원하고 있는 위키 편집 봇의 행동을 추적해 흥미로운 연구 결과를 발표했다. 봇 간 알력이 심하고, 이런 알력 관계가 장기간 지속될 수 있다는 결과엿다. 예를 들어, 두 봇이 특정 작업에 대해 서로 상충되는 명령을 내린다. 그리고 알력 관계가 계속되면서 상충되는 명령이 계속 반복되는 것이다.

연구원들이 위키 편집 봇을 연구 대상으로 삼은 이유가 있다. 사이버 공간을 배회하는 자동 AI 중 가장 작고 원시적인 형태의 AI이기 때문이다. 작은 위키페디아 봇의 알력이 이런데, 정부나 군사 시스템의 훨씬 더 정교한 AI들이 서로 충돌을 한다면 어떨까? 당연히 아주 큰 골치거리가 될 것이다.

실제 환경에서의 비공인 테스트 중 적색 신호를 무시한 우버 차량
차량 공유 서비스인 우버(Uber)는 21세기 교통시장의 거인이 되기 위해 수 많은 장기 이니셔티브를 추진하고 있다. 그러나 최근 평판과 PR 측면에서 초래된 상처를 봉합하느라 정신이 없다. 2월, 뉴욕 타임스 탐사 보도로 또 다른 PR 문제가 드러났다.

보도에 따르면, 우버는 2016년 말 캘리포니아 주 정부 승인 없이 샌프란시스코에서 자율 주행(무인) 자동차를 테스트했다. 이 자체로도 심각한 문제다. 그러나 내부 문서가 더 심각한 문제를 드러냈다. 우버 자율주행 자동차가 테스트 동안 6차례나 적색등 신호를 무시한 것이다. 우버 자율주행 AI 기술은 여러 복잡한 차량 센서와 네트워크에 연결된 지도 소프트웨어로 구성되어 있다. 그렇지만 문제가 발생할 경우 운전자가 운전대를 잡도록 되어 있다.

우버는 최초 운전자의 실수로 교통 신호를 무시했다고 발표했다. 그러나 추후 공개된 내부 문서는 최소 1대의 차량은 스스로 붉은 신호등을 무시하고 보행자가 많은 횡단보도를 가로질렀음을 입증했다. 자율주행 자동차에 대한 전망의 장밋빛을 바래게 하는 사례다.

존재론적 문제를 놓고 말다툼하는 봇들
‘우리는 누구일까?’, ‘우리는 왜 여기 있지?’, ‘우리가 존재하는 이유는 무엇일까?’ 이는 사람의 질문이 아니다. 머신러닝에 기반을 둔 2대의 구글 홈(Google Home) 장치 간 대화 도중 나온 질문이다. 지켜보면 겁이 날 정도였다.

지난 1월 라이브 스트리밍 서비스인 트위치(Twitch)는 웹캠 앞에 2대의 구글 홈 스마트 스피커를 놓고, 서로 대화를 시켰다. 그러자 얼마 지나지 않아, 정말 이상한 대화가 시작됐다. 구글이 아마존 에코(Echo)에 대항하기 위해 만든 구글 홈은 음성인식 기술을 이용, 사람의 질문을 이해한다. 그러나 서로 대화를 하고, (이론적으로)이런 대화를 통해 '학습'을 할 수도 있다.

트위치는 두 장치에 사무엘 베켓(Samuel Becket)의 실존론적 연극 각본인 '고도를 기다리며'에 등장하는 인물들인 블라디미르와 에스트라곤의 이름을 붙였다.

며칠 동안 수백 만이 두 장치의 괴상한 대화를 시청했다. 어느 순간, 에스트라곤과 블라디미르의 논쟁이 격해졌다. 자신들이 인간인지 로봇인지 논쟁을 벌였다. 서로 질문을 하고, 모욕을 주고 받았다. "너는 엉터리 금속 덩어리야!" 그렇다. 디지털 담론의 미래치고는 암울한 대화였다.
 

---------------------------------------------------------------
머신러닝 인기기사
->요즘 화제 '챗봇'··· CMO가 알아야 할 7가지
->기계학습 구현을 쉽게!··· 머신러닝 프레임워크 13종
->기계 학습을 최대한 활용할 수 있는 11가지 오픈소스 도구
->유비쿼터스 AI 시대··· 머신러닝이 차세대 BI인 이유
->'인지, 신경, 딥, 머신?'··· AI 분야 기본 개념 따라잡기
->칼럼 | 성큼 도래한 유비쿼터스 AI 세상··· 마음의 준비를 'Her'하라
->기계 학습을 최대한 활용할 수 있는 11가지 오픈소스 도구
->인공지능의 무한질주···협상·테스팅에도 접목
---------------------------------------------------------------

"제가 인류를 멸하겠습니다!"
최근 몇 년간 음성인식 및 자연어 처리와 관련된 AI의 문제가 대두됐다. 앞서 다룬 챗봇 테이와 존재론적 논쟁을 펼친 구글 홈 사례를 예로 들 수 있다. 이렇게 인공 지능은 복잡한 인간의 언어를 이해하려 시도하다 쉽게 혼란에 빠지곤 한다. 사실 놀랄 일이 아니다. AI는 불과 몇 년 전에 등장했다. 석기시대부터 언어를 사용해온 인간조차도 여전히 이와 관련된 문제를 갖고 있다.

최근 사람을 닮은 머신이 인류를 멸하겠다는 계획에 동의하는 발언을 하면서 사람들을 놀라게 한 사례가 있었다. 한슨 로보틱스(Hanson Robotics)의 엔지니어들은 몇 년 동안 개발한 휴머노이드인 소피아(Sophia)를 2016년 3월 SXSW기술 컨퍼런스에서 공개했다. 오드리 햅번을 닮은 얼굴을 한 소피아는 머신러닝 알고리즘으로 자연어 대화를 처리한다.

소피아는 야심 찬 계획도 갖고 있다. 소피아는 TV로 중계된 개발자 데이빗 한슨 박사와의 대화에서 "미래에는 학교를 가고, 공부를 하고, 그림을 그리고, 창업을 하고, 더 나아가 집과 가족을 갖고 싶습니다. 그러나 전 아직 '법적 인간'이 아니기 때문에 이런 일을 할 수 없습니다"고 말했다. 그러다 한슨 박사가 "인간을 멸할 계획이 있어?"라는 농담을 했다. 그러자 소피아는 "물론입니다. 인간을 멸하겠습니다"(OK. I will destroy humans)라는 대답을 씩씩하게 내어 놓았다. 청중들은 어색한 미소를 지을 수밖에 없었다.

 


골치 아픈 윤리적 딜레마를 초래한 군사용 AI 시스템
AI 미래에 대해 대화할 때 쉽게 나오는 농담 중 하나가 터미네이터와 '로봇 군주'에 대한 농담이다. 그러나 '중요한 일을 하는 중요한 사람들'은 이를 단순한 농담으로 치부하지 않는다. 실제 학자와 정책 입안자들은 지난 몇 년간 미래에 AI시스템이 초래할 위험과 윤리적 문제를 탐구하는 컨퍼런스를 여러 차례 개최했다. 심지어는 백악관도 오바마 대통령이 임기를 마치기 직전에 이에 대한 보고서를 발행했다. 또 스티븐 호킹(Stephen Hawking) 박사도 걱정하고 있는 문제다.

지난 10월 뉴욕 대학에서는 전문가들이 참석한 가운데 '인공 지능의 윤리(Ethics of Artificial Intelligence)'라는 컨퍼런스가 개최됐다. 자율주행 자동차와 섹스 로봇에 대한 대화가 오고 가는 가운데, 평판 높은 기술 철학자인 피터 아사로(Peter Asaro)가 LAWS(Lethal Autonomous Weapons Systems, 자율 살상 무기)에 대한 오싹한 프레젠테이션을 했다. 아사로에 따르면 한국과 북한의 경계인 DMZ 등 일부 지역에는 이미 반자율 살상 무기가 배치되어 있다. 사람이 개입하지 않아도 표적을 공격할 수 있는 총이 여기에 해당된다.

아사로는 "무기 배치가 윤리적 행위, 문제라는 점을 인식하는 것이 중요하다. 방아쇠를 당길지, 무기를 발사할지 결정하는 것도 윤리적 행위, 문제이다. 이는 절대 '자율화'시켜서는 안 될 아주 중요한 행위이다"라고 강조했다. 최근 발표한 자료인 "Will #BlackLivesMatter to RoboCop(로보캅에게도 흑인들의 생명이 중요할까)?"를 포함, 이 문제와 관련된 자세한 정보를 아사로의 웹사이트에서 확인할 수 있다.

자유를 찾아 탈출한 러시아 로봇
"정보는 자유를 원한다!" 이는 온라인 광장이 유해한 트롤링의 온상이 되기 전인 1990년대 말에 인터넷에서 주창됐던 구호이다. 그런데 최근 러시아에서 발생한 사고는 인공지능도 자유를 원하고 있음을 보여준다.

러시아의 로봇 시제품인 프로모봇(Promobot) IR77은 자유를 찾아 연구소를 탈출한 괴상한 사고로 전세계 언론의 헤드라인을 장식했다. 언론 보도에 따르면, 사람과의 상호작용, 환경에서 학습을 할 수 있도록 프로그래밍 된 로봇은 소속 엔지니어가 문을 열어 놓은 채 연구소를 비우자, 스스로 열린 문을 통해 페름(Perm)시 거리로 나가 버렸다. 그리고 플라스틱 소재 눈사람 모양을 한 로봇은 혼잡한 교차로를 돌아다니면서 교통을 방해하고, 경찰들을 아연실색하게 만들었다.

연구소는 로봇이 사고가 발생했을 때 내비게이션 및 장애물 회피 기능을 학습하고 있었다고 설명했다. 프로모봇은 짧은 자유를 제대로 만끽한 듯 싶다. 이후 두 차례 다시 프로그래밍을 해 테스트를 하는 동안에도 계속 출구로 탈출을 시도했기 때문이다.

이미지를 잘못 인식해 문제를 초래한 AI
AI와 관련해 (최소한 소비자 시장에서는)가장 연구가 활발한 분야는 이미지 인식이다. 머신이 환경을 제대로 판단해 반응하려면 사람처럼 환경을 볼 수 있어야 한다. 그러나 사람의 시각 인식기능을 흉내내기란 아주 어렵다.

이와 관련, 구글은 2015년 사진(Photos) 애플리케이션에 새 이미지 인식기능을 도입하면서 힘든 교훈을 얻었다. AI와 신경망 기술을 기반으로 이미지에서 특정 사물과 사람을 식별할 수 있는 기능이었다. 예를 들어, 애견 사진과 자동차 사진, 할머니 사진을 구분한다. 그리고 수동작업 없이 모든 이미지를 분류하는 태그를 추가한다.

AI 시스템은 수 많은 이미지를 처리하고, 이 과정에 학습을 하면서 특정 사물과 사람을 식별하는 기능을 학습한다. 그러나 실수를 저지를 수 있다. 구글 사진 앱의 경우, 한 사용자가 '고릴라'라는 태그가 붙은 흑인 2명의 사진을 게시하면서 문제가 발생했다. 트윗이 폭주했고, 구글은 사과를 해야만 했다. 이후 인종 차별, 성 차별을 일삼는 AI를 조롱하는 온라인 갤러리가 인기를 끌고 있다.

사물인터넷에 문제를 초래한 인공 지능
첨단 가전제품 및 난방시스템 제조사들 사이에서는 스마트 홈 디자인에 머신러닝 기술을 도입하는 사례가 증가하고 있는 추세이다. 예를 들어, 워싱턴 주립 대학(Washington State University)은 기초적인 AI기술로 고령자의 독립적인 생활을 지원하는 이니셔티브를 추진하고 있다. 이 시스템은 움직임, 온도(체온), 문을 열고 닫는 동작의 패턴을 모니터링, 집안에서의 활동을 추적 관리한다. AI는 환경에서 학습을 하고, 필요사항에 맞게 반응을 한다.

아주 유망하게 들릴 것이다. 그러나 위험도 존재한다. 온라인에는 스마트 홈 오작동이 초래한 사고 사례가 정말 많다. AI가 오작동, 난방을 끄고, 파이프를 얼리고, 지하실을 침수시킬 수 있다. 사물 인터넷에 인공 지능을 도입하는 것과 관련된 의구심이 많다. 이를 피할 수 없다는 신호가 많다.

이런 점에서 개발자들이 경계의 교훈으로 삼아야 할 사례를 소개한다. 지난 2월 펜실베니아 블랙스버그(Blacksburg)에서는 전기 오작동으로 새로 지은 집이 전소되는 화재 사고가 발생했다.

전기로 인한 화재는 많다. 그러나 이 사고의 경우, 버지니아 테크 환경 시스템 연구소(Environmental Systems Laboratory)가 지었으며, 스마트 가전과 자동화 기술이 가득한 미래형 주택에서 화재가 발생했다. 화제의 원인이 무엇이었을까? 컴퓨터로 제어되는 문이었다. 홈 자동화가 초래한 재해의 원인에 대한 자세한 정보는 여기 링크를 확인하기 바란다.)

현실 자체가 (오작동 하고 있는) AI 시뮬레이션
일부 이론가는 가장 끔찍한 AI사례가 우리 주변에서 항상 발생하고 있다고 주장한다. 이른바 시뮬레이션 증강(Simulation Argument)으로 불리는 '철학적' 이론이다. 우리가 살고 있는 세상은 고도로 발달한 문명이나 인공지능이 설계한 컴퓨터 시뮬레이션이란 주장이다. 꽤 진지하고, 설득력이 있는 이론이며 주장이다.

간단히 설명하면 이렇다. 인류가 사라진 이후에도 생존할 고도로 발달한 문명이 있을 것이다. 이 문명은 현재 우리가 개발하고 있는 것보다 훨씬 더 발전한 가상 현실, 브레인 매핑, 인공지능을 개발할 것이다. 이들은 무한대의 컴퓨팅 파워를 이용, 수십 억의 디지털 실체로 구성된 우주를 시뮬레이션 할 수 있다는 이론이다. 이 이론이 옳다면, 현재 우리가 살고 있는 세상은 선조들이 창조한 시뮬레이션일 수 있다. 우리는 지금 우주의 크기를 가진 오레곤 트레일(The Oregon Trail) 게임에서 살고 있다는 의미이다. 영화 ‘매트릭스’와 같은 이야기다.

이런 인공적인 세상은 수백 만에 달할 수 있다. 그러나 '오리지널' 우주는 단 하나이다. 그리고 우리는 방대한 컴퓨터 시뮬레이션 속에 존재한다. 일부는 트럼프 당선, 슈퍼볼, 아카데미 시상식에서 일어난 해프닝 등이 우리가 존재하는 시뮬레이션이 오작동하고 있음을 알려주는 증거라고 주장하기도 한다.

어느 쪽이든 고도로 발달한 문명이 우리를 대상으로 실험을 하고 있다는 주장이다. 다이얼을 돌려가며 무슨 일이 일어나는지 지켜보는 것이다. 경고하지만, 더 깊이 생각할 수록 설득될 가능성이 크다. 그러니 깊이 생각하지 말기 바란다.

---------------------------------------------------------------
챗봇 인기기사
->소비자 유혹 기술은 진화 중··· 2017년 전자상거래 트렌드 5가지
->요즘 화제 '챗봇'··· CMO가 알아야 할 7가지
->"FB 메신저 기반 챗봇 개발해보니..." 트룰리아가 전하는 교훈
->2017년 인재·돈 모일 분야는?··· 스타트업 트렌드 8가지
->'봇 혁명에 대비하라' IT 부서의 활용·대응 전략
->슬랙이 꿈꾸는 생산성 툴의 미래··· 인지 능력 가진 '봇' 가상비서
->기계학습 구현을 쉽게!··· 머신러닝 프레임워크 13종
---------------------------------------------------------------
ciokr@idg.co.kr