딥페이크 비디오의 작동 방법과 위험한 이유

딥페이크(Deepfakes)는 진짜처럼 보이는 가짜 비디오 또는 오디오 기록이다. 한때는 할리우드 특수효과 스튜디오와 CIA 또는 GCHQ의 JTRIG 부서와 같은 프로파간다를 생산하는 정보 기관의 전유물이었지만 이제는 누구나 딥페이크 소프트웨어를 다운로드해서 남는 시간에 그럴듯한 가짜 비디오를 만들어낼 수 있다.

지금까지 딥페이크는 아마추어 취미가들이 연예인 얼굴을 포르노 배우의 몸과 합성하거나 정치인이 하는 말을 조작하는 용도 정도로 사용됐다. 그러나 공격이 임박했다는 비상 경보 딥페이크를 만들거나 가짜 섹스 비디오를 사용해 누군가의 결혼 생활을 파탄에 이르게 하거나 투표 며칠 전에 후보자의 가짜 비디오 또는 오디오를 퍼뜨려 선거에 개입하기도 쉬워졌다.

딥페이크는 얼마나 위험한가?

딥페이크는 많은 이에게 우려의 대상이다. 미 플로리다 주 공화당 상원의원이자 2016년 대통령 후보였던 마르코 루비오는 딥페이크를 현대의 핵무기라고 표현했다. 루비오는 2주 전 워싱턴의 한 연설에서 “예전에는 미국을 위협하려면 10척의 항공모함과 핵무기, 장거리 미사일이 필요했다. 지금은 인터넷 시스템, 뱅킹 시스템, 전력망 및 인프라에 접근하면 된다. 진짜 같은 가짜 비디오를 제작할 능력만 있으면 선거를 훼방하고 미국을 심각한 내부적 위기로 몰아넣고 깊은 타격을 입힐 수 있다”라고 말했다.

결실을 맺지 못한 야심가의 왜곡된 정치적 과장일까, 아니면 딥페이크가 정말 핵무기보다 더 큰 위협일까? 루비오의 말만 들으면 세상은 종말을 향해 다가가는 듯하다. 하지만 모두가 루비오의 의견에 동의하는 것은 아니다.

버크만-클라인 센터(Berkman-Klein Center)와 MIT 미디어 랩(MIT Media Lab)에서 AI 이니셔티브의 윤리 감독 책임자인 팀 황은 “핵폭탄만큼 위험하다? 나는 그렇게 생각하지 않는다. 그동안의 실제 사례는 확실히 불안감을 준다. 사람들은 우려를 하면서 많은 질문을 던지지만 많은 이가 예상하는 것처럼 상황이 바뀔 가능성은 높지 않다고 본다”라고 말했다.

일반 사용자도 페이크앱(FakeApp)을 다운로드해서 바로 딥페이크를 제작할 수 있다. 앱을 사용하기가 아주 쉽지는 않지만 2019년 초 케빈 루즈가 뉴욕 타임즈에서 시연한 바와 같이 컴퓨터에 어느정도 익숙한 사람이라면 문제없이 사용할 수 있다.

황은 그러나 효과적인 다른 허위 정보의 형태가 매우 많고 따라서 딥페이크를 사용한 “두더지 잡기” 놀이에 집중하는 것은 잘못된 전략이라면서 “지금 당장만 해도 딥 러닝이나 머신러닝 없이, 저렴하게 대중을 기만하고 의식을 유도할 수 있는 방법이 매우 많다”라고 말했다.

예를 들어 길거리에서 사람들이 누군가를 집단 폭행하는 모습을 비디오로 촬영한 다음 이 비디오에 대해 가짜 해설을 붙일 수 있다(공격하는 사람들이 미국의 이민자들이라는 등). 여기에는 고급 머신러닝 알고리즘도 필요없고, 그럴듯한 가짜 해설과 그 해설에 맞는 비디오만 있으면 된다.

딥페이크는 어떻게 작동하는가

‘눈으로 봐야 믿는다’는 옛말이 있지만, ‘믿어야 본다’는 말이 더 진실에 가깝다. 사람은 자신이 믿고 싶은 것을 뒷받침하는 정보만 취하고 나머지는 무시한다.

공격자가 이와 같은 인간의 경향을 해킹하면 그 위력은 상당하다. 허위 정보(가짜 뉴스)를 통해 만들어진 거짓말이 진실로 포장되어 확산된 사례는 이미 많다. 사실을 확인한 사람들이 거짓에 반대하는 목소리를 높일 때면 이미 늦었다. 피자게이트는 유명한 사례다(피자게이트는 지난 2016년 미 대선 과정에서 발생한 음모론으로, 힐러리 클린턴 선대 본부장 존 포데스타의 이메일을 해킹해 폭로한 사실을 짜깁기해 민주당의 고위 관계자들이 인신매매와 아동성착취를 하는 악마숭배자 조직이라고 퍼트린 것이다. 편집자 주).

딥페이크는 두 개의 머신러닝 모델이 다투는 생산적 적대 신경망(Generative Adversarial Network, GAN)을 사용해 이와 같은 인간의 경향을 악용한다. 한 머신러닝 모델이 데이터 집합을 사용해 학습한 다음, 위조 비디오를 만들면 다른 머신러닝 모델이 위조 여부를 탐지하는 방식이다. 

위조하는 머신러닝 모델은 상대 머신러닝 모델이 위조를 탐지할 수 없을 때까지 가짜를 만들어낸다. 학습 데이터 집합이 클수록 진짜 같은 딥페이크를 위조하기도 더 쉬워진다. 초기 1세대 딥페이크에서 전 대통령과 할리우드 연예인들의 비디오가 많이 사용된 이유가 여기에 있다. 즉, 위조를 학습시킬 수 있는 공개된 비디오 영상이 풍부했기 때문이다.

물론 GAN은 가짜 섹스 비디오를 만들고 정치인이 하는 말을 위조하는 것 외에도 많은 용도가 있다. GAN은 머신러닝 모델이 스스로 학습하는 “자율 학습(unsupervised learning)” 분야에서 큰 진전이다. 자율주행 차량의 보행자와 자전거 인식 능력을 개선하고, 알렉사나 시리와 같은 음성 디지털 비디오의 대화 역량을 높일 수 있는 큰 잠재력을 지녔다. 일부는 GAN이 ‘AI 상상(AI imagination)’의 도래를 예견한다고 말한다.

딥페이크의 예

정치적 딥 페이크의 한 형태인 가짜 뉴스 비디오가 새로운 현상이라고 생각한다면 틀렸다. 영화가 발명된 이후 한 세대 동안 실제 뉴스를 극적으로 각색하기 위한 뉴스 비디오 위조는 당연한 일이었다.

필름이 바다를 건너기까지 몇 주가 걸렸던 시절, 영화 제작자들은 뉴스에 생동감을 불어넣기 위해 소규모 세트에서 자극적인 지진이나 화재 장면을 제작했다. 1920년대에는 대서양 횡단 케이블을 통해 흑백 사진을 전송하는 것이 최신 유행이었고, 영화 제작자들은 이렇게 받은 원본 사진을 사용해 파괴된 장면을 만들곤 했다. 1930년대 들어서는 이런 관행이 바뀌면서, 뉴스에 보이는 장면에는 진짜 장면을 사용해야 한다는 인식이 자리잡았다.

최근에는 배우 톰 크루즈가 등장하는 틱톡 비디오가 공개되면서 딥페이크에 대한 논란이 재점화됐다. 이 비디오는 사실 톰 크루즈를 흉내내는 사람과 오픈소스 인공지능인 딥페이스랩(DeepFaceLab) 알고리즘을 결합해 진짜처럼 보이도록 만들어진 것이다.

이 비디오를 만든 벨기에의 시각 효과(VFX) 전문가인 크리스 우미는 이 정도 수준의 비디오는 대부분의 사람들에게 재현하기 어렵다고 말했다. 그러나 이 프로젝트는 AI와 CGI와 VFX 기술의 조합을 통해 보통 사람들은 알아채기가 거의 불가능한 딥페이크 비디오를 만들 수 있음을 보여준다.

딥페이크를 탐지하는 방법

딥페이크 탐지는 어려운 문제다. 물론 아마추어가 만든 딥페이크는 쉽게 알아볼 수 있다. 기계로 확인할 수 있는 가짜 징후로는 눈 깜박임이 없거나 그림자의 모양이 어색한 경우 등이 있다. 딥페이크를 생성하는 GAN은 계속해서 향상되는 중이므로 조만간 딥페이크를 탐지하려면 디지털 포렌식에 의존해야 하는 상황이 올 것이고, 그나마도 탐지 여부를 장담할 수 없다.

워낙 어려운 문제인 만큼 DARPA(Defense Advanced Research Projects Agency)에서는 비디오의 진위를 가리는 더 나은 방법을 찾는 연구에 막대한 투자를 하고 있다. 그러나 GAN 스스로 이런 포렌식을 회피하는 방법을 학습할 수 있음을 감안하면 애초에 승산이 없는 싸움일 수 있다.

DARPA 프로그램 관리자로 이 프로젝트를 이끌고 있는 데이비드 거닝은 MIT 테크놀로지 리뷰(MIT Technology Review)에서 “이론적으로, GAN에 현재 우리가 가진 모든 탐지 기술을 알려주면 GAN은 모든 기술을 회피할 수 있게 된다. 그 능력에 한계가 있는지 알 수 없다”라고 말했다.

비평가들은 가짜 비디오를 감지할 수 없다면 곧 우리가 보고 듣는 모든 것을 불신해야만 하는 시대가 올 수 있다고 경고한다. 현재 인터넷은 삶의 모든 부분에 영향을 미치는데, 거기서 보는 어느 것도 믿을 수 없게 된다면 ‘진실의 종말’이 현실화될 수 있다. 이는 정치 체계에 대한 신념뿐만 아니라 더 장기적으로, 공유된 객관적인 현실에 대한 신념까지 위협한다. 걱정이 많은 사람들은 무엇이 현실이고 아닌지에 관해 동의할 수 없다면 정치적 문제를 두고 토론할 수도 없게 될 것이라고 우려한다.

그러나 황은 이러한 우려가 과장됐다면서 “무엇이 현실이고 아닌지를 알 수 없게 되는 그 암울한 문턱을 넘을 일은 없을 것이라고 생각한다”라고 주장했다.

딥페이크에 대한 과장된 이야기가 가장 큰 보호망 역할을 할 수도 있다. 비디오를 이 정도 수준으로 위조할 수 있다는 사실을 일반인이 알고 있다는 것 자체가 딥페이크의 힘을 빼는 역할을 한다.

딥페이크를 방지할 규제는

딥페이크는 불법일까? 까다로운 질문이고, 아직 답도 없다. 미국 헌법 수정 제1조를 고려해야 하지만 지적재산법, 개인정보보호법도 있고 미국의 많은 주에서 최근 제정하고 있는 리벤지 포르노 금지 법규도 있다(국내의 경우, 딥페이크 비디오를 제작해 인터넷 등에 배포하면 성폭력범죄의 처벌 등에 관한 특례법 제14조 2항에 따라 처벌받는다. 편집자 주).

지피캣(Gfycat) 및 폰허브(Pornhub)와 같은 플랫폼은 딥페이크 포르노 비디오가 약관 위반에 해당된다면서 적극적으로 삭제하고 있다. 그러나 포르노 딥페이크는 비주류 플랫폼에서 계속 공유된다.

성적 착취와 무관한 정치적 발언의 경우, 그 경계가 애매하다. 미국 헌법 수정 제1조에서는 정치인이 사람들에게 거짓말을 할 권리를 보호한다. 또한 실수 또는 의도적으로 잘못된 정보를 게시할 권리도 보호한다. 사상의 시장(marketplace of ideas)의 핵심은 정부의 검열, 또는 소셜 미디어 플랫폼에 대한 독단적인 서비스 약관을 강제하는 사실상의 검열이 아니라 거짓으로부터 진실을 구분해 내는 데 있다.

각국의 규제 기관과 입법 기관이 이 문제와 계속해서 논의 중이니 어떻게 될지 지켜보자.

출처 URL:https://www.itworld.co.kr/news/187783

문제가 될 시 삭제하겠습니다.