닉슨대통령, 딥 페이크 통해 아폴로 달착륙 실패 담화문 발표

가짜와 진짜 세계의 혼재 – 딥 페이크 기술

탐지 기술과 쫓고 쫓기는 경쟁 예상돼

“운명은 달을 탐구하러 갔던 분들이 평화로운 휴식을 취하기 위해 달에 머무는 쪽으로 정해졌습니다.”

닐 암스트롱을 태운 아폴로 11호가 달에 도달하기 전 당시 연설문 작가이자 기자로서 활동하던 윌리엄 사파이어는 닉슨 대통령에게 짧은 연설문을 준비해준다. 이는 달 착륙이 실패했을 때 대통령이 국민들에게 주기 위한 메시지였다. 물론 이 연설문은 읽혀지지 않았다. 달 착륙이 성공했으므로.

AI를 이용한 우크라이나의 음성 변조 기술 보유 회사인 리스피처(Respeecher)와 이스라엘의 화상변조 기술보유 회사인 캐니(Canny) AI 두 회사가 각각의 기술을 이용해 닉슨대통령이 처음으로 이 연설문을 읽는 동영상을 제작했다. 물론 실재했던 적이 없는 만들어진 동영상이다.

만약 이 동영상이 1969년으로 거슬러 올라가 달 착륙 직전에 다시 전파를 탄다면 어떻까? 아마 거의 모든 사람들은 동영상을 의심하는 대신 달 착륙 실패를 인정하고 우주인들의 명복을 빌고 있지는 않았을까?

동영상을 변조해 실재 인물의 실재하지 않았던 일을 재현하는 기술을 지칭하는 새로운 용어가 탄생했다. 이른바 딥 페이크(deepfake)가 그것이다. 이제 굳이 유명 탈렌트의 광고를 찍기 위해 그를 카메라 앞에 세울 필요가 없어졌다. 평소 그의 동영상과 음성 데이터만으로 필요한 장면을 연출할 수 있는 시대가 온 것이다.

딥 페이크는 이제까지 이미지를 대상으로 2차원 평면상에 이루어지던 뽀샵질(포토샵을 이용한 이미지 조작)의 3차원 공간상으로의 진화라 말할 수 있다. 얼핏 생각하기에 딥 페이크는 뽀샵질보다 훨씬 더 많은 수고와 시간을 요할 것 같지만, 실상은 반대다. 뽀샵질이 전문가들의 수공업적인 노력의 산물이라면, 딥 페이크의 담당자는 인간의 오더를 충실히 실천하는 AI(인공지능)이기 때문이다. 필요한 데이터만 제공하면 AI는 아주 빠르고 수월하게 딥 페이크 영상을 제공해 준다.

딥 페이크 영상을 제작하기 위해서는 두 가지의 중요한 기술이 필요하다. 음성변조 기술과 영상변조 기술이다. 닉슨 대통령의 딥 페이크 동영상의 경우 음성은 스피치 투 스피치(speech-to-speech) 음성 합성 기술을 사용했다. 성우가 원고 내용을 읽어 AI에 전달해주면, AI는 닉슨 대통령의 음성 데이터를 활용해, 같은 발성속도와 억양을 가진 음성을 만들어낸다.

영상의 경우도 역시 배우가 먼저 연설하는 장면을 동영상으로 만든 다음 이를 AI가 변조하는 기술이다. 그리고 사용하고자 하는 닉슨 대통령의 타킷 비디오를 선별하는 방식으로 제작이 이루어졌다.

딥 페이크는 새로운 논쟁거리이다. 얼마 남지 않은 미국의 대통령 선거를 생각해보면 논쟁의 이유를 이해하기는 쉽다. 누군가가 후보 A에게 치명적인 딥 페이크 동영상을 유세기간 막판에 제작한다. 그동안 각종 여론조사에서 당선이 확실시 되던 A 후보는 이로 인해 낙선에 이르게 된다. 뒤늦게 이 동영상이 딥 페이크라는 것을 사람들이 알게 되지만, 그렇지만 뭐? 선거는 끝났고 낙선은 낙선일 뿐이다.

딥 페이크가 잘못 사용될 가능성에 대한 우려는 크다. 지금까지 딥 페이크는 기껏 유머를 위한 패러디나 포르노 동영상을 조작하기 위한 정도로만 사용되었을 뿐이다. 하지만, 딥 페이크가 가짜뉴스를 무차별로 양산하기 위한 도구로 사용되기 시작한다면 얘기는 달라진다.

사용자는 진짜와 가짜를 구분하기 어려워지고, 진실의 세계와 만들어진 세계가 뒤섞어 공존할 수도 있다. 진실을 알기까지는 시간이 걸리고, 설령 진실을 안다 하더라도, 이미 돌이킬 수 없거나, 혹은 또다른 가짜와 뒤범벅되는 일들이 비일비재해질 가능성도 크다.

갈수록 컴퓨터는 강력해지고 사용가능한 데이터는 많아질 수 밖에 없다. 가짜를 만드는 기술과 이를 잡아내는 기술 사이의 쫓고 쫓기는 경쟁은 필연적이다. 아직까지는 가짜를 잡아내는 기술이 우위에 있지만, 언제까지 그러리라는 보장은 없다.

캐나다의 AI 전문기업인 데싸(Dessa)의 엔지어들이 최근 구글의 합성 비디오를 이용해 만든 딥 페이크 탐지기의 실험 결과는 참담하다. 구글의 비디오들을 거의 완벽하게 식별하는데 성공했지만 인터넷 전체에 결쳐 같은 실험을 했을 때에는 40% 이상의 실패율을 보였다.

데싸측은 결국 문제를 해결했다지만, 해결과정에서 자신들이 만들어낸 비디오 뿐 아니라, 인터넷 도처의 비디오 자료의 도움을 받아야만 했다. 결론은 딥 페이크 탐지기능은 AI를 훈련시키기 위해 사용된 데이터만큼일 뿐이라는 얘기다. 저작권등의 문제가 있어 쫓는 측이 쫓기는 측보다 데이터 사용에 더 불리할 가능성이 높다.

캄햄파티(Kambhampati) 미국 애리조나 주립대학의 교수는 뉴욕타임즈와의 인터뷰에서 “딥 페이크의 기술이 아직 시작단계인 현재로서는 탐지가 가능하겠지만, 점차 기술이 발달하게 되면 종국에는 진짜와 가짜를 구분해내는 일이 불가능해질 것”이라고 언급할 정도이다. 어떠한 사소한 결함도 없이 가짜가 그만큼 완벽해질 수 있다는 뜻이다.

구글과 페이스북 등과 같은 인터넷 선두기업들은 완벽한 탐지기능을 추구하고 있다. 동영상이 아니더라도 가령 페이스북을 통한 가짜뉴스의 확산등은 적잖은 논란을 일으켜왔다. 미국 대선을 앞두고, 페이스북은 가짜뉴스를 차단하기 위한 방편을 짜기 위해 골머리를 앓고 있다. 여기에 동영상까지 가세한다면 페이스북 플랫폼 자체에 대한 불신이 커질 수 밖에 없다.

물론 딥 페이크가 부정적 요소만을 갖고 있는 것은 아니다. 딥 페이크 기술을 이용한 보다 생생한 역사적 기록은 그 한가지 예이다. 배우가 아닌 실제 이순신 장군이 거북선 지휘장면을 연출하는 영화를 보게 될 수도 있다.

그러나 그러한 잇점도 진실과 가짜가 잘 구분될 때의 얘기다. 실제로 치료를 위해 외국에 나갔던 가봉 대통령의 동영상이 가봉 정부에 의해 발표되자 반대파들은 그 동영상이 가짜라고 주장하고 나선 사례가 있다. 당연히 이를 둘러싼 혼란이 야기됐다. 전문가들은 이런 혼란이야말로 거짓말하는 측이 얻는 이득이라고 설명하고 있다.

어쨌든 딥 페이크 기술은 이제 막 발달의 입문단계를 넘어섰다. 가령 앞으로 2년 후에는 그 기술이 얼마만큼 더 빠르게 진척되어 있을지 누구도 예측할 수 없다. 2년 후 우리나라는 대선을 반년쯤 남긴 시기가 된다. 당장 우리의 다음번 대선이 딥 페이크로 인해 엉망이 되지 말라는 법도 없다.

진짜와 가짜를 구분할 수 없는 시대, 딥 페이크는 기술발달의 어두운 이면을 얘기해주는 또 하나의 사례랄 수 있다.