2018.11.12

팩트를 조작한다··· 딥페이크란? 잠재적 위험성은?

J.M. Porup | CSO

딥페이크(Deepfake)는 실제처럼 보이고 들리는 가짜 동영상 또는 오디오 파일이다. 한 때는 CIA나 GCHQ(Government Communications HeadQuarters, 영국 정부통신본부)의 JTRIG(Joint Threat Research Intelligence Group, 합동 위협 연구 정보 그룹) 등 할리우드 특수 효과 스튜디오와 정보기관이 제작했지만, 지금은 누구든 여가 시간에 딥페이크 소프트웨어를 다운로드하여 진짜처럼 보이는 가짜 동영상을 만들 수 있다.

현재까지 딥페이크를 만드는 목적은 그리 다양하지 않았다. 그저 유명인의 얼굴을 포르노 스타의 몸에 합성하거나 정치인들이 웃긴 이야기를 하도록 만드는 정도였다.

하지만 잠재적 문제 가능성은 작지 않다. 공격이 임박했다는 비상 경보 경고의 딥페이크를 만들거나 가짜 성관계 동영상으로 누군가의 결혼을 망치거나 투표가 시작되기 수 일 전에 후보자 중 한 사람의 가짜 동영상 또는 오디오 녹화본을 유출시키는 시나리오가 가능하다.

이로 인해 많은 사람들이 불안해하고 있으며 플로리다의 공화당 상원의원이자 2016년 대선 후보였던 마르코 루비오는 이를 현대의 핵무기와 비교했다. 그는 수 주 전 워싱턴에서 청중들에게 이렇게 말했다.

"미국을 위협하려면 10대의 항공모함과 핵무기 그리고 장거리 미사일이 필요하다. 지금은 우리의 인터넷 시스템, 뱅킹 시스템, 전기 그리드, 인프라에 액세스하면 되고 점차 우리의 선거를 망치고 국내에서 엄청난 위기를 조장하며 우리를 약화시키는 매우 현실적인 가짜 동영상을 제작하는 능력만 있으면 된다."

흔히 볼 수 있는 과장된 정치적 수사일까? 아니면 딥페이크가 정말로 핵무기보다 더 위협적일까? 루비오의 말을 들으면 우리는 아마겟돈으로 치닫고 있는 듯 하다. 하지만 모두가 이에 동의하지는 않는다.

BKC(Berkman-Klein Center)와 MIT 미디어 랩의 윤리 및 AI 계획 관리 이사 팀 황은 "핵폭탄만큼 위험하다고? 그렇지 않다고 생각한다. 사례를 보면 분명 충격적이다. 그들은 걱정하고 있으며 많은 질문을 던지고 있지만 그들이 많은 사람들이 제안하는 대로 바꾸지는 않을 것이라고 생각한다"라고 말했다.

딥페이크의 원리
백문이 불여일견이지만 사실 믿는 대로 보이기도 한다. 인간은 자신이 믿고 싶은 것을 뒷받침하는 정보를 찾고 나머지는 무시하는 경향을 보인다.

특히 악당들은 이런 인간의 성향을 악용하고 있다. 의도적으로 거짓 정보(소위 말하는 "가짜 뉴스")를 만든 후 진실이라는 이름으로 확산되는 상황이 이미 목격되고 있다. 사실을 확인한 사람들이 항의를 할 때 즈음에는 이미 늦은 경우가 태반이다.

딥페이크는 2개의 머신러닝(ML) 모델이 충돌하는 GAN(생성적 적대 신경망, Generative Adversarial Network)를 이용해 이런 인간의 성향을 악용한다. 이 어렵게 들리는 문장의 의미는 다음과 같다.

1개의 ML 모델을 데이터 세트로 훈련한 후 가짜 동영상을 만들고 다른 하나는 가짜를 감지한다. 그리고 다른 ML이 가짜를 감지할 수 없을 때까지 가짜를 만든다. 훈련 데이터가 많을수록 신뢰할 만한 딥페이크를 만들기가 더 쉽다. 이 때문에 전 대통령들과 할리우드 유명인들의 동영상이 초기의 1세대 딥페이크에 자주 활용되고 있는 것이다. 훈련에 사용할 동영상이 넘쳐난다.



샬로우 페이크(Shallow Fake)도 문제
11월 기자 회견에서 트럼프 대통령과 CNN리포터 짐 아코스타와의 대립을 담은 조작 영상이 논란을 일으켰다. 그리고 이러한 논란은 저급한 기술의 조작 동영상도 허위 정보의 한 형태로써 딥페이크만큼 효과적일 수 있음이 입증되었다.




2018.11.12

팩트를 조작한다··· 딥페이크란? 잠재적 위험성은?

J.M. Porup | CSO

딥페이크(Deepfake)는 실제처럼 보이고 들리는 가짜 동영상 또는 오디오 파일이다. 한 때는 CIA나 GCHQ(Government Communications HeadQuarters, 영국 정부통신본부)의 JTRIG(Joint Threat Research Intelligence Group, 합동 위협 연구 정보 그룹) 등 할리우드 특수 효과 스튜디오와 정보기관이 제작했지만, 지금은 누구든 여가 시간에 딥페이크 소프트웨어를 다운로드하여 진짜처럼 보이는 가짜 동영상을 만들 수 있다.

현재까지 딥페이크를 만드는 목적은 그리 다양하지 않았다. 그저 유명인의 얼굴을 포르노 스타의 몸에 합성하거나 정치인들이 웃긴 이야기를 하도록 만드는 정도였다.

하지만 잠재적 문제 가능성은 작지 않다. 공격이 임박했다는 비상 경보 경고의 딥페이크를 만들거나 가짜 성관계 동영상으로 누군가의 결혼을 망치거나 투표가 시작되기 수 일 전에 후보자 중 한 사람의 가짜 동영상 또는 오디오 녹화본을 유출시키는 시나리오가 가능하다.

이로 인해 많은 사람들이 불안해하고 있으며 플로리다의 공화당 상원의원이자 2016년 대선 후보였던 마르코 루비오는 이를 현대의 핵무기와 비교했다. 그는 수 주 전 워싱턴에서 청중들에게 이렇게 말했다.

"미국을 위협하려면 10대의 항공모함과 핵무기 그리고 장거리 미사일이 필요하다. 지금은 우리의 인터넷 시스템, 뱅킹 시스템, 전기 그리드, 인프라에 액세스하면 되고 점차 우리의 선거를 망치고 국내에서 엄청난 위기를 조장하며 우리를 약화시키는 매우 현실적인 가짜 동영상을 제작하는 능력만 있으면 된다."

흔히 볼 수 있는 과장된 정치적 수사일까? 아니면 딥페이크가 정말로 핵무기보다 더 위협적일까? 루비오의 말을 들으면 우리는 아마겟돈으로 치닫고 있는 듯 하다. 하지만 모두가 이에 동의하지는 않는다.

BKC(Berkman-Klein Center)와 MIT 미디어 랩의 윤리 및 AI 계획 관리 이사 팀 황은 "핵폭탄만큼 위험하다고? 그렇지 않다고 생각한다. 사례를 보면 분명 충격적이다. 그들은 걱정하고 있으며 많은 질문을 던지고 있지만 그들이 많은 사람들이 제안하는 대로 바꾸지는 않을 것이라고 생각한다"라고 말했다.

딥페이크의 원리
백문이 불여일견이지만 사실 믿는 대로 보이기도 한다. 인간은 자신이 믿고 싶은 것을 뒷받침하는 정보를 찾고 나머지는 무시하는 경향을 보인다.

특히 악당들은 이런 인간의 성향을 악용하고 있다. 의도적으로 거짓 정보(소위 말하는 "가짜 뉴스")를 만든 후 진실이라는 이름으로 확산되는 상황이 이미 목격되고 있다. 사실을 확인한 사람들이 항의를 할 때 즈음에는 이미 늦은 경우가 태반이다.

딥페이크는 2개의 머신러닝(ML) 모델이 충돌하는 GAN(생성적 적대 신경망, Generative Adversarial Network)를 이용해 이런 인간의 성향을 악용한다. 이 어렵게 들리는 문장의 의미는 다음과 같다.

1개의 ML 모델을 데이터 세트로 훈련한 후 가짜 동영상을 만들고 다른 하나는 가짜를 감지한다. 그리고 다른 ML이 가짜를 감지할 수 없을 때까지 가짜를 만든다. 훈련 데이터가 많을수록 신뢰할 만한 딥페이크를 만들기가 더 쉽다. 이 때문에 전 대통령들과 할리우드 유명인들의 동영상이 초기의 1세대 딥페이크에 자주 활용되고 있는 것이다. 훈련에 사용할 동영상이 넘쳐난다.



샬로우 페이크(Shallow Fake)도 문제
11월 기자 회견에서 트럼프 대통령과 CNN리포터 짐 아코스타와의 대립을 담은 조작 영상이 논란을 일으켰다. 그리고 이러한 논란은 저급한 기술의 조작 동영상도 허위 정보의 한 형태로써 딥페이크만큼 효과적일 수 있음이 입증되었다.


X