2019.04.12

머신러닝으로 만드는 가짜 영상··· 딥페이크란? 잠재적 위험성은?

J.M. Porup | CSO

딥페이크(Deepfake)란 마치 진짜처럼 보이고 들리는 가짜 동영상 또는 오디오 녹음본이다. 한 때는 CIA나 GCHQ의 JTRIG 등 할리우드 특수 효과 스튜디오와 정보기관에게만 이를 만들어낼 역량이 있었지만 지금은 누구든 여가 시간에 딥페이크 소프트웨어를 다운로드하여 진짜처럼 보이는 가짜 동영상을 만들 수 있다.

현재까지 딥페이크를 만드는 이들은 유명인의 얼굴을 포르노 스타의 몸에 합성하거나 정치인들이 웃긴 이야기를 하도록 만드는 아마추어 취미가에 그쳤다. 하지만 잠재적 위험성이 커지는 중이다. 공격이 임박했다는 비상 경보 딥페이크를 만들거나 가짜 성관계 동영상으로 누군가의 결혼을 망치거나 투표가 시작되기 수일 전에 후보자 중 한 사람의 가짜 동영상 또는 오디오 녹화본을 유출시키는 등의 시나리오가 가능하다.

(편집자 주 : 본 기사는 2018년 11월 게재한 <팩트를 조작한다··· 딥페이크란? 잠재적 위험성은?>을 업데이트한 것이다.)

딥페이크는 얼마나 위험한가?
플로리다의 공화당 상원의원이자 2016년 대선 후보였던 마르코 루비오는 이를 현대의 핵무기와 비교했다. 그는 이렇게 말했다. "미국을 위협하려면 10대의 항공모함과 핵무기 그리고 장거리 미사일이 필요했다. 지금은 다르다. 인터넷, 뱅킹 시스템, 전기 그리드, 인프라에 액세스하면 되고 점차 우리의 선거를 망치고 국내에서 엄청난 위기를 조장하며 우리를 약화시키는 매우 현실적인 가짜 동영상을 제작하는 능력만 있으면 된다."

정치적 과장법일까? 아니면 딥페이크가 정말로 핵무기보다 더 위협적일까? 루비오의 말을 들으면 우리는 아마겟돈으로 치닫고 있다. 하지만 모두가 이에 동의하지는 않는다.

BKC(Berkman-Klein Center)와 MIT 미디어 랩의 윤리 및 AI 계획 관리 이사 팀 황은 "핵폭탄만큼 위험하다고? 그렇지 않다고 생각한다. 몇몇 사례는 분명 충격적이지만, 딥페이크가 의도한 대로 사람들이 휩쓸리지는 않을 것이다"라고 말했다.

딥페이크의 원리
‘보는 것이 믿는 것’이라는 말도 있지만 사실 믿는 대로 보이기도 한다. 인간은 자신이 믿고 싶은 것을 뒷받침하는 정보를 찾고 나머지는 무시한다.

악당들은 이런 인간의 성향을 악용하고 있다. 의도적으로 거짓 정보(소위 말하는 ‘가짜 뉴스’)를 만든 후 진실이라는 이름으로 확산되는 상황이 이미 목격되고 있다. 사실을 확인한 사람들이 항의를 할 때 즈음에는 이미 늦은 후이고 #PizzaGate도 그 중 하나다.

딥페이크는 머신러닝 모델 2개를 활용하는 GAN(Generative Adversarial Network)를 이용한다. 1개의 ML 모델을 데이터 세트로 훈련한 후 가짜 동영상을 만들고 다른 하나는 가짜를 감지한다. 그리고 다른 ML이 가짜를 감지할 수 없을 때까지 가짜를 만드는 식이다. 훈련 데이터가 많을수록 신뢰할 만한 딥페이크를 만들기가 더 쉽다. 이 때문에 전 대통령들과 할리우드 유명인들의 동영상이 초기의 1세대 딥페이크에 자주 활용되고 있는 것이다. 훈련에 사용할 동영상이 넘쳐난다.



샬로우 페이크(Shallow Fake)도 문제
지난해 11월 기자 회견에서 트럼프 대통령과 CNN리포터 짐 아코스타와의 대립에 대한 조작된 동영상이 화제가 되면서 저급한 기술의 조작 동영상도 허위 정보의 한 형태로써 딥페이크만큼 효과적일 수 있음이 입증됐다. 원본 동영상에서는 한 여성 백악관 인턴이 아코스타의 마이크를 빼앗으려 시도하는 것으로 보인다. 그러나 편집 이후의 영상은 CNN 보고서가 인턴을 공격한 것처럼 보인다.

이 사건을 통해 동영상을 손쉽게 조작하여 공격자가 선택한 리포터, 정치인, 기업, 브랜드 등의 대상의 신임을 떨어뜨릴 수 있다는 우려가 부상했다. 

FUD(Fear, Uncertainty, Doubt)는 보안 분야에 종사하는 사람들에게 친숙하며 이런 FUD를 대대적으로 하나의 무기로써 배치하면 개인뿐만이 아니라 기업에도 심각한 피해가 발생할 수 있다. FUD 공격에 대한 방어는 매우 어렵다. 아코스타가 여성 백악관 인턴을 거칠게 밀쳤다는 의심이 뿌리를 내리면 상당수의 시청자들은 그 세부사항을 잊지 못하고 사실일 수도 있다고 의심하게 됐다. 

누가 누구를 흔들고 있는가?
데이비드 마멧의 심술궂도록 재미있는 1997년의 영화 왝더독은 재당선을 위해 특수 효과를 이용해 가짜로 전쟁을 벌여 섹스 스캔들을 덮으려는 한 대통령을 풍자했다. 당시에는 ‘가짜 TV 뉴스’를 만드는 능력이 희소한 것이었지만 지금은 노트북만 있으면 누구든 만들 수 있다.

물론 GAN은 가짜 성관계 동영상을 만들고 정치인이 다른 말을 하는 것처럼 보이도록 하는 것 외의 용도로도 사용할 수 있다. GAN은 ML모델이 스스로 학습하는 ‘비감독 학습’이라는 측면에서 큰 성과이다. 이를 통해 자율주행 자동차가 행인과 자전거를 인식하고 알렉사와 시리 같은 음성 활성화 디지털 비서와의 대화를 개선할 수 있는 능력이 크게 발전할 수 있다. 

일반 사용자는 페이크앱을 다운로드하여 바로 자신만의 딥페이크를 만들 수 있다. 이 앱을 사용하는 방법이 아주 쉽지는 않지만 케빈 루즈가 시연했듯이 일정 수준의 지식이 있는 사용자라면 충분히 가능한 수준이다.

그렇긴 하지만 딥페이크를 지나치게 우려할 필요가 없다는 의견도 있다. 다른 여러 형태의 효과적인 조작 방법들이 존재하기 때문이다. MIT 미디어 랩의 윤리 및 AI 계획 관리 이사 팀 황은 "지금도 대중을 기만하고 의견을 형성함에 있어 쉽고 저렴한 방법이 있다고 생각한다"라고 말했다.

예를 들어, 거리에서 사람들이 누군가를 폭행하는 동영상을 촬영한 후 공격자들이 미국 이민자들이라는 등 동영상에 대한 가짜 설명을 작성하면 번거로운 ML 알고리즘도 필요 없다. 가짜 설명과 이에 적합한 동영상만 있으면 되는 것이다.




2019.04.12

머신러닝으로 만드는 가짜 영상··· 딥페이크란? 잠재적 위험성은?

J.M. Porup | CSO

딥페이크(Deepfake)란 마치 진짜처럼 보이고 들리는 가짜 동영상 또는 오디오 녹음본이다. 한 때는 CIA나 GCHQ의 JTRIG 등 할리우드 특수 효과 스튜디오와 정보기관에게만 이를 만들어낼 역량이 있었지만 지금은 누구든 여가 시간에 딥페이크 소프트웨어를 다운로드하여 진짜처럼 보이는 가짜 동영상을 만들 수 있다.

현재까지 딥페이크를 만드는 이들은 유명인의 얼굴을 포르노 스타의 몸에 합성하거나 정치인들이 웃긴 이야기를 하도록 만드는 아마추어 취미가에 그쳤다. 하지만 잠재적 위험성이 커지는 중이다. 공격이 임박했다는 비상 경보 딥페이크를 만들거나 가짜 성관계 동영상으로 누군가의 결혼을 망치거나 투표가 시작되기 수일 전에 후보자 중 한 사람의 가짜 동영상 또는 오디오 녹화본을 유출시키는 등의 시나리오가 가능하다.

(편집자 주 : 본 기사는 2018년 11월 게재한 <팩트를 조작한다··· 딥페이크란? 잠재적 위험성은?>을 업데이트한 것이다.)

딥페이크는 얼마나 위험한가?
플로리다의 공화당 상원의원이자 2016년 대선 후보였던 마르코 루비오는 이를 현대의 핵무기와 비교했다. 그는 이렇게 말했다. "미국을 위협하려면 10대의 항공모함과 핵무기 그리고 장거리 미사일이 필요했다. 지금은 다르다. 인터넷, 뱅킹 시스템, 전기 그리드, 인프라에 액세스하면 되고 점차 우리의 선거를 망치고 국내에서 엄청난 위기를 조장하며 우리를 약화시키는 매우 현실적인 가짜 동영상을 제작하는 능력만 있으면 된다."

정치적 과장법일까? 아니면 딥페이크가 정말로 핵무기보다 더 위협적일까? 루비오의 말을 들으면 우리는 아마겟돈으로 치닫고 있다. 하지만 모두가 이에 동의하지는 않는다.

BKC(Berkman-Klein Center)와 MIT 미디어 랩의 윤리 및 AI 계획 관리 이사 팀 황은 "핵폭탄만큼 위험하다고? 그렇지 않다고 생각한다. 몇몇 사례는 분명 충격적이지만, 딥페이크가 의도한 대로 사람들이 휩쓸리지는 않을 것이다"라고 말했다.

딥페이크의 원리
‘보는 것이 믿는 것’이라는 말도 있지만 사실 믿는 대로 보이기도 한다. 인간은 자신이 믿고 싶은 것을 뒷받침하는 정보를 찾고 나머지는 무시한다.

악당들은 이런 인간의 성향을 악용하고 있다. 의도적으로 거짓 정보(소위 말하는 ‘가짜 뉴스’)를 만든 후 진실이라는 이름으로 확산되는 상황이 이미 목격되고 있다. 사실을 확인한 사람들이 항의를 할 때 즈음에는 이미 늦은 후이고 #PizzaGate도 그 중 하나다.

딥페이크는 머신러닝 모델 2개를 활용하는 GAN(Generative Adversarial Network)를 이용한다. 1개의 ML 모델을 데이터 세트로 훈련한 후 가짜 동영상을 만들고 다른 하나는 가짜를 감지한다. 그리고 다른 ML이 가짜를 감지할 수 없을 때까지 가짜를 만드는 식이다. 훈련 데이터가 많을수록 신뢰할 만한 딥페이크를 만들기가 더 쉽다. 이 때문에 전 대통령들과 할리우드 유명인들의 동영상이 초기의 1세대 딥페이크에 자주 활용되고 있는 것이다. 훈련에 사용할 동영상이 넘쳐난다.



샬로우 페이크(Shallow Fake)도 문제
지난해 11월 기자 회견에서 트럼프 대통령과 CNN리포터 짐 아코스타와의 대립에 대한 조작된 동영상이 화제가 되면서 저급한 기술의 조작 동영상도 허위 정보의 한 형태로써 딥페이크만큼 효과적일 수 있음이 입증됐다. 원본 동영상에서는 한 여성 백악관 인턴이 아코스타의 마이크를 빼앗으려 시도하는 것으로 보인다. 그러나 편집 이후의 영상은 CNN 보고서가 인턴을 공격한 것처럼 보인다.

이 사건을 통해 동영상을 손쉽게 조작하여 공격자가 선택한 리포터, 정치인, 기업, 브랜드 등의 대상의 신임을 떨어뜨릴 수 있다는 우려가 부상했다. 

FUD(Fear, Uncertainty, Doubt)는 보안 분야에 종사하는 사람들에게 친숙하며 이런 FUD를 대대적으로 하나의 무기로써 배치하면 개인뿐만이 아니라 기업에도 심각한 피해가 발생할 수 있다. FUD 공격에 대한 방어는 매우 어렵다. 아코스타가 여성 백악관 인턴을 거칠게 밀쳤다는 의심이 뿌리를 내리면 상당수의 시청자들은 그 세부사항을 잊지 못하고 사실일 수도 있다고 의심하게 됐다. 

누가 누구를 흔들고 있는가?
데이비드 마멧의 심술궂도록 재미있는 1997년의 영화 왝더독은 재당선을 위해 특수 효과를 이용해 가짜로 전쟁을 벌여 섹스 스캔들을 덮으려는 한 대통령을 풍자했다. 당시에는 ‘가짜 TV 뉴스’를 만드는 능력이 희소한 것이었지만 지금은 노트북만 있으면 누구든 만들 수 있다.

물론 GAN은 가짜 성관계 동영상을 만들고 정치인이 다른 말을 하는 것처럼 보이도록 하는 것 외의 용도로도 사용할 수 있다. GAN은 ML모델이 스스로 학습하는 ‘비감독 학습’이라는 측면에서 큰 성과이다. 이를 통해 자율주행 자동차가 행인과 자전거를 인식하고 알렉사와 시리 같은 음성 활성화 디지털 비서와의 대화를 개선할 수 있는 능력이 크게 발전할 수 있다. 

일반 사용자는 페이크앱을 다운로드하여 바로 자신만의 딥페이크를 만들 수 있다. 이 앱을 사용하는 방법이 아주 쉽지는 않지만 케빈 루즈가 시연했듯이 일정 수준의 지식이 있는 사용자라면 충분히 가능한 수준이다.

그렇긴 하지만 딥페이크를 지나치게 우려할 필요가 없다는 의견도 있다. 다른 여러 형태의 효과적인 조작 방법들이 존재하기 때문이다. MIT 미디어 랩의 윤리 및 AI 계획 관리 이사 팀 황은 "지금도 대중을 기만하고 의견을 형성함에 있어 쉽고 저렴한 방법이 있다고 생각한다"라고 말했다.

예를 들어, 거리에서 사람들이 누군가를 폭행하는 동영상을 촬영한 후 공격자들이 미국 이민자들이라는 등 동영상에 대한 가짜 설명을 작성하면 번거로운 ML 알고리즘도 필요 없다. 가짜 설명과 이에 적합한 동영상만 있으면 되는 것이다.


X