2020.02.26

칼럼ㅣ'가짜로 가득 찬 세상'을 구원할 존재도 결국 AI다

Mike Elgan | Computerworld
딥페이크 기술로 만든 영상부터 인공지능이 생성한 텍스트, 가짜 사이트와 인플루언서, 뉴스까지 ‘가짜’가 곳곳에서 판을 치고 있다. 현실이 '진짜'로 가득할 수 있을까? 

어린 시절 종이 접시, 알루미늄 포일, 구슬로 UFO를 만들었던 적이 있다. 그리고 지붕에 UFO를 매달고 사진을 찍었다. 이 사진은 우주에 인간만 있는 것이 아니라는, 반박의 여지가 없는 증거로 활용됐다.

가짜가 없었던 적은 없다. 그러나 모든 것이 디지털화되면서 가짜를 만들고 전파하기가 더 쉬워지고, 더 빨라졌으며, 더 광범위해졌다. 그리고 AI는 이를 완전히 새로운 차원으로 바꿔 놓을 것이다. 그간 조작하기 어려웠던 영상이나 음성 등을 포함해 누구나 완벽한 가짜를 만들 수 있는 시대가 오고 있다. 

가짜로 가득 찬 세상에서 우리는 어떻게 해야 할까?
 
ⓒGetty Images

가짜 뉴스(혹은 가짜에 대한 뉴스들)
AI가 만들어낸 합성 영상이 정치 활동에서 허위 정보를 퍼뜨리거나 악의적인 목적으로 사용될 수 있다는 우려가 계속해서 제기돼 왔다. 그런데 최근 딥페이크가 정치 활동에서 실제로 사용됐다. 

인도 인민당(Bharatiya Janata Party) 대표인 마노즈 티와리가 여러 언어로 연설하기 위해 딥페이크 영상을 사용한 것이다. 해당 사례에서 딥페이크는 경쟁자의 발언을 조작하는 데 쓰이진 않았다. 이는 딥페이크가 정치 활동에 공식적으로 사용된 첫 사례였다.

또한 원저자의 허가를 받아 AI로 가짜를 만든 사례가 있다. AI가 유명 래퍼 트래비스 스콧(Travis Scott)의 멜로디와 가사를 학습해 그의 스타일로 새로운 음원을 작사·작곡한 것이다. 미국 로스앤젤레스의 에이전시 스페이스 150이 추진한 프로젝트였다. 이 밖에 AI로 노래 가사를 생성해볼 수 있는 웹사이트도 있다. 

작가처럼 글을 쓸 수 있는 AI도 있다. GPT-2가 바로 그것이다. 비영리 인공지능 연구기관 오픈AI가 공개한 GPT-2는 어떤 글 스타일이든 맥락을 고려한 문장들을 스스로 만들어 낸다. 이를테면 뉴요커(New Yorker) 같은 잡지의 글은 물론 시까지 흉내 낼 수 있다

가장 우려스러운 것은 범죄에 악용될 수 있는 가능성이다. 이미 일어나고 있는 일이기도 하다. 미국 사이버 보안 회사 시만텍에 따르면, 딥페이크 음성을 악용한 소셜 엔지니어링 해킹 사건이 최근 3건이나 발생했다. 유튜브 연설과 컨퍼런스 콜 데이터를 바탕으로 CEO의 목소리를 모사했고, 재무 담당 직원에게 특정 계좌로 돈을 송금하라는 전화를 걸었다고 한다. 

완벽한 가짜를 만드는 AI
일반적으로 딥페이크 기술로 합성 영상을 만드는 2가지 방법이 있다. 첫 번째는 ‘페이스-스왑(Face-swap)’이다. 인코더와 디코더를 사용해 프레임 단위로 사람의 얼굴만 바꿔치기하는 방법이다.  

두 번째는 생성적 적대 신경망(Generative Adversarial Network, GAN)이다. 이는 2가지 AI 알고리즘으로 구성돼 있다. 가짜 데이터를 만드는 생성자 알고리즘, 그리고 가짜 데이터인지 알아내는 판별자 알고리즘이다. 두 알고리즘이 적대적으로 경쟁하는 과정이 반복되면서, 더 정교한 가짜 데이터가 생성된다. 

가짜 영상 생성 기술도 갈수록 정교해지고 있다. 홍콩의 스타트업 센스타임(SenseTime)은 난양 공과 대학교(Nanyang Technological University) 및 중국 과학원 자동화연구소(CASIA)와 협력해 영상에 음성을 자동 삽입 및 편집하는 프레임워크(SenseTIme)를 개발했다. 국내 스타트업인 하이퍼커넥트(Hyperconnect)는 특정 사람의 얼굴 움직임을 정치인, 연예인 등 다른 사람 얼굴에 맵핑할 수 있는 안면 재현 기술, 마리오네트(MarioNETte)를 개발했다.

딥페이크 기술이 계속해서 발전되고, 보편화되고 있다. 일반 사용자의 앱에도 등장할 정도다. 누구나 아주 그럴듯한 딥페이크 영상과 음성을 만들어 내는 것은 이제 시간문제일 뿐이다. 그러므로 가짜를 식별하는 방법을 반드시 찾아내야 한다.

가짜를 식별하는 기술들 
구글의 자회사인 기술 인큐베이터 기업 직소(Jigsaw)가 조작된 이미지를 식별할 수 있는 툴, 어셈블러(Assembler)를 7개 대학과 함께 공동 개발했다. 이미지에 어떤 조작이 가해졌는지 확인하도록 고안된 도구다. 

구글은 또한 AI와 사람 직원을 조합해 가짜 리뷰 삭제에 나서고 있다. 구글이 2월 공식 블로그를 통해 발표한 내용에 따르면, 정책을 위반한 리뷰 7,500만 개와 가짜 비즈니스 정보 400만 개가 삭제됐다. AI가 먼저 모든 리뷰를 검사해 정책을 위반한 것들을 자동 삭제한다. 확실하지 않은 경우에 사람 직원에게 넘겨 어떻게 처리할지 결정한다. 

워싱턴 대학교(University of Washington)와 알렌 인공지능 연구소(Allen Institute for AI)는 딥페이크 기술로 생성된 글을 92% 정확도로 식별할 수 있는 알고리즘, 그로버(Grover)를 만들었다.

페이스북도 2018년 가짜 뉴스를 연구하는 외부 연구진에 내부 데이터를 제공하겠다는 소셜 사이언스 원(Social Science One)라는 프로젝트를 시작했고, 2월 페이스북 사용자 활동 등 일부 데이터를 처음으로 제공했다. 

하버드 대학과 MIT-IBM 왓슨 AI 연구소 소속 연구진들은 자이언트 랭귀지 모델 테스트 룸(Giant Language Model Test Room)이라는 도구를 개발했다. AI로 만든 문장을 찾아내는 웹 기반 도구이다. 

캐나다의 스타트업 다윈AI는 가짜 뉴스를 식별하는 딥러닝 기술(DarwinAI)을 개발했다. 이 기술은 현재 기사 제목과 내용을 비교하는 수준이지만, 향후 해당 기사 내용을 다른 기사와 비교할 수 있는 단계로 발전시킬 계획이다.

한편 엉뚱한 아이디어들도 있다. 애덤스, 워싱턴 등 미국 헌법 제정자들을 AI를 통해 부활시키자는 것이다. 또 콘텐츠를 식별할 수 있는 솔루션으로 블록체인 기술을 제안하는 이도 있다. 다만 이를 위해서는 대부분 사람이 참여해야 하므로 불가능할 확률이 높다. 

AI가 만들어낸 가짜를 식별하는 데에도 AI가 필수적이다. 앞서 소개한 초기 제품과 기술, 연구들이 이를 증명한다.

창과 방패의 싸움
혹자는 신규 생성된 소셜 미디어 계정 가운데 약 25%가 가짜 또는 사기성일 것이라고 추정한다. 이러한 계정들이 문제인 이유는 가짜 뉴스, 스팸, 사이버 범죄와 관련 있기 때문이다. 

여러 연구에 따르면, 가짜 계정을 식별하는 현 시스템이 제대로 작동하지 않고 있다. 북대서양 조약 기구(NATO)도 가짜 계정에 대한 실험을 진행하고 보고서를 발표한 바 있다. 하지만 보고서가 공개된 지 몇 주가 지난 후에도 가짜 계정의 95%가 여전히 유지되고 있었다고 NATO는 지적했다. 

이는 아주 놀라운 사실이다. 트위터, 페이스북 및 기타 소셜 사이트가 가짜 계정을 감지하는 시스템에 오랫동안 많은 돈을 투자했다는 점을 감안한다면 말이다. 기업들이 탐지 기술을 계속해서 개선하지만, 그때마다 수많은 가짜 계정이 다시 생기고 있다. 이는 가짜를 만드는 사람들이 한발 앞서 나간다는 의미로 풀이된다.

어떻게 보면 이 싸움은 생성적 적대 신경망(GANs)의 프로세스와 같다. 가짜를 만드는 사람이 가짜를 생성한다. 판별자가 가짜를 감지한다. 이 과정에서 가짜를 만드는 사람은 감지하는 기술을 알아낸다. 그리고 더 정교한 가짜를 만들어낸다.

쥐와 고양이 같이 쫓고 쫓기는 이 대결은 앞으로도 계속될 전망이다. 단, AI 시스템 간의 경쟁이 될 것이다. 인간의 식별 능력은 완전히 배제될 것이 분명하다.

그렇다. 진실은 저 너머에 있다. 그리고 우리는 진실을 발견하기 위해 기계가 필요한 시대에 진입하고 있다. 

* Mike Elgan은 기술 및 기술 문화에 대해 저술하는 전문 기고가다. ciokr@idg.co.kr



2020.02.26

칼럼ㅣ'가짜로 가득 찬 세상'을 구원할 존재도 결국 AI다

Mike Elgan | Computerworld
딥페이크 기술로 만든 영상부터 인공지능이 생성한 텍스트, 가짜 사이트와 인플루언서, 뉴스까지 ‘가짜’가 곳곳에서 판을 치고 있다. 현실이 '진짜'로 가득할 수 있을까? 

어린 시절 종이 접시, 알루미늄 포일, 구슬로 UFO를 만들었던 적이 있다. 그리고 지붕에 UFO를 매달고 사진을 찍었다. 이 사진은 우주에 인간만 있는 것이 아니라는, 반박의 여지가 없는 증거로 활용됐다.

가짜가 없었던 적은 없다. 그러나 모든 것이 디지털화되면서 가짜를 만들고 전파하기가 더 쉬워지고, 더 빨라졌으며, 더 광범위해졌다. 그리고 AI는 이를 완전히 새로운 차원으로 바꿔 놓을 것이다. 그간 조작하기 어려웠던 영상이나 음성 등을 포함해 누구나 완벽한 가짜를 만들 수 있는 시대가 오고 있다. 

가짜로 가득 찬 세상에서 우리는 어떻게 해야 할까?
 
ⓒGetty Images

가짜 뉴스(혹은 가짜에 대한 뉴스들)
AI가 만들어낸 합성 영상이 정치 활동에서 허위 정보를 퍼뜨리거나 악의적인 목적으로 사용될 수 있다는 우려가 계속해서 제기돼 왔다. 그런데 최근 딥페이크가 정치 활동에서 실제로 사용됐다. 

인도 인민당(Bharatiya Janata Party) 대표인 마노즈 티와리가 여러 언어로 연설하기 위해 딥페이크 영상을 사용한 것이다. 해당 사례에서 딥페이크는 경쟁자의 발언을 조작하는 데 쓰이진 않았다. 이는 딥페이크가 정치 활동에 공식적으로 사용된 첫 사례였다.

또한 원저자의 허가를 받아 AI로 가짜를 만든 사례가 있다. AI가 유명 래퍼 트래비스 스콧(Travis Scott)의 멜로디와 가사를 학습해 그의 스타일로 새로운 음원을 작사·작곡한 것이다. 미국 로스앤젤레스의 에이전시 스페이스 150이 추진한 프로젝트였다. 이 밖에 AI로 노래 가사를 생성해볼 수 있는 웹사이트도 있다. 

작가처럼 글을 쓸 수 있는 AI도 있다. GPT-2가 바로 그것이다. 비영리 인공지능 연구기관 오픈AI가 공개한 GPT-2는 어떤 글 스타일이든 맥락을 고려한 문장들을 스스로 만들어 낸다. 이를테면 뉴요커(New Yorker) 같은 잡지의 글은 물론 시까지 흉내 낼 수 있다

가장 우려스러운 것은 범죄에 악용될 수 있는 가능성이다. 이미 일어나고 있는 일이기도 하다. 미국 사이버 보안 회사 시만텍에 따르면, 딥페이크 음성을 악용한 소셜 엔지니어링 해킹 사건이 최근 3건이나 발생했다. 유튜브 연설과 컨퍼런스 콜 데이터를 바탕으로 CEO의 목소리를 모사했고, 재무 담당 직원에게 특정 계좌로 돈을 송금하라는 전화를 걸었다고 한다. 

완벽한 가짜를 만드는 AI
일반적으로 딥페이크 기술로 합성 영상을 만드는 2가지 방법이 있다. 첫 번째는 ‘페이스-스왑(Face-swap)’이다. 인코더와 디코더를 사용해 프레임 단위로 사람의 얼굴만 바꿔치기하는 방법이다.  

두 번째는 생성적 적대 신경망(Generative Adversarial Network, GAN)이다. 이는 2가지 AI 알고리즘으로 구성돼 있다. 가짜 데이터를 만드는 생성자 알고리즘, 그리고 가짜 데이터인지 알아내는 판별자 알고리즘이다. 두 알고리즘이 적대적으로 경쟁하는 과정이 반복되면서, 더 정교한 가짜 데이터가 생성된다. 

가짜 영상 생성 기술도 갈수록 정교해지고 있다. 홍콩의 스타트업 센스타임(SenseTime)은 난양 공과 대학교(Nanyang Technological University) 및 중국 과학원 자동화연구소(CASIA)와 협력해 영상에 음성을 자동 삽입 및 편집하는 프레임워크(SenseTIme)를 개발했다. 국내 스타트업인 하이퍼커넥트(Hyperconnect)는 특정 사람의 얼굴 움직임을 정치인, 연예인 등 다른 사람 얼굴에 맵핑할 수 있는 안면 재현 기술, 마리오네트(MarioNETte)를 개발했다.

딥페이크 기술이 계속해서 발전되고, 보편화되고 있다. 일반 사용자의 앱에도 등장할 정도다. 누구나 아주 그럴듯한 딥페이크 영상과 음성을 만들어 내는 것은 이제 시간문제일 뿐이다. 그러므로 가짜를 식별하는 방법을 반드시 찾아내야 한다.

가짜를 식별하는 기술들 
구글의 자회사인 기술 인큐베이터 기업 직소(Jigsaw)가 조작된 이미지를 식별할 수 있는 툴, 어셈블러(Assembler)를 7개 대학과 함께 공동 개발했다. 이미지에 어떤 조작이 가해졌는지 확인하도록 고안된 도구다. 

구글은 또한 AI와 사람 직원을 조합해 가짜 리뷰 삭제에 나서고 있다. 구글이 2월 공식 블로그를 통해 발표한 내용에 따르면, 정책을 위반한 리뷰 7,500만 개와 가짜 비즈니스 정보 400만 개가 삭제됐다. AI가 먼저 모든 리뷰를 검사해 정책을 위반한 것들을 자동 삭제한다. 확실하지 않은 경우에 사람 직원에게 넘겨 어떻게 처리할지 결정한다. 

워싱턴 대학교(University of Washington)와 알렌 인공지능 연구소(Allen Institute for AI)는 딥페이크 기술로 생성된 글을 92% 정확도로 식별할 수 있는 알고리즘, 그로버(Grover)를 만들었다.

페이스북도 2018년 가짜 뉴스를 연구하는 외부 연구진에 내부 데이터를 제공하겠다는 소셜 사이언스 원(Social Science One)라는 프로젝트를 시작했고, 2월 페이스북 사용자 활동 등 일부 데이터를 처음으로 제공했다. 

하버드 대학과 MIT-IBM 왓슨 AI 연구소 소속 연구진들은 자이언트 랭귀지 모델 테스트 룸(Giant Language Model Test Room)이라는 도구를 개발했다. AI로 만든 문장을 찾아내는 웹 기반 도구이다. 

캐나다의 스타트업 다윈AI는 가짜 뉴스를 식별하는 딥러닝 기술(DarwinAI)을 개발했다. 이 기술은 현재 기사 제목과 내용을 비교하는 수준이지만, 향후 해당 기사 내용을 다른 기사와 비교할 수 있는 단계로 발전시킬 계획이다.

한편 엉뚱한 아이디어들도 있다. 애덤스, 워싱턴 등 미국 헌법 제정자들을 AI를 통해 부활시키자는 것이다. 또 콘텐츠를 식별할 수 있는 솔루션으로 블록체인 기술을 제안하는 이도 있다. 다만 이를 위해서는 대부분 사람이 참여해야 하므로 불가능할 확률이 높다. 

AI가 만들어낸 가짜를 식별하는 데에도 AI가 필수적이다. 앞서 소개한 초기 제품과 기술, 연구들이 이를 증명한다.

창과 방패의 싸움
혹자는 신규 생성된 소셜 미디어 계정 가운데 약 25%가 가짜 또는 사기성일 것이라고 추정한다. 이러한 계정들이 문제인 이유는 가짜 뉴스, 스팸, 사이버 범죄와 관련 있기 때문이다. 

여러 연구에 따르면, 가짜 계정을 식별하는 현 시스템이 제대로 작동하지 않고 있다. 북대서양 조약 기구(NATO)도 가짜 계정에 대한 실험을 진행하고 보고서를 발표한 바 있다. 하지만 보고서가 공개된 지 몇 주가 지난 후에도 가짜 계정의 95%가 여전히 유지되고 있었다고 NATO는 지적했다. 

이는 아주 놀라운 사실이다. 트위터, 페이스북 및 기타 소셜 사이트가 가짜 계정을 감지하는 시스템에 오랫동안 많은 돈을 투자했다는 점을 감안한다면 말이다. 기업들이 탐지 기술을 계속해서 개선하지만, 그때마다 수많은 가짜 계정이 다시 생기고 있다. 이는 가짜를 만드는 사람들이 한발 앞서 나간다는 의미로 풀이된다.

어떻게 보면 이 싸움은 생성적 적대 신경망(GANs)의 프로세스와 같다. 가짜를 만드는 사람이 가짜를 생성한다. 판별자가 가짜를 감지한다. 이 과정에서 가짜를 만드는 사람은 감지하는 기술을 알아낸다. 그리고 더 정교한 가짜를 만들어낸다.

쥐와 고양이 같이 쫓고 쫓기는 이 대결은 앞으로도 계속될 전망이다. 단, AI 시스템 간의 경쟁이 될 것이다. 인간의 식별 능력은 완전히 배제될 것이 분명하다.

그렇다. 진실은 저 너머에 있다. 그리고 우리는 진실을 발견하기 위해 기계가 필요한 시대에 진입하고 있다. 

* Mike Elgan은 기술 및 기술 문화에 대해 저술하는 전문 기고가다. ciokr@idg.co.kr

X