SNS에서 활개치는 'AI 걸프렌드'…딥페이크 악용 '제재 사각지대'

인스타ㆍX 등에서 음란물 유포…관련 게시물 쏟아져
“미성년자인데 당황스러워…진짠지 가짠지 구분 못 해”
AI가 생성한 가상 음란물은 딥페이크로 분류 안 돼

인공지능(AI)이 생성한 가상 음란물이 사회관계망서비스(SNS)에서 유포되고 있다. 이에 딥페이크로 분류되지 않는 AI 발 가상 음란물에 대한 규제 필요성도 제기된다.

▲17일 인스타그램에서 ‘aigirl(에이아이걸)’을 검색하자 약 118만 개의 게시물이 나왔다. 대부분 게시물은 가상의 여성을 생성해 특정 신체부위를 부각하는 등 음란 게시물이었다. (인스타그램 화면 캡처)

17일 인스타그램에서 ‘aigirl(에이아이걸)’을 검색하자 약 118만 개의 게시물이 나왔다. 대부분 게시물은 가상의 여성을 생성해 특정 신체 부위를 부각하는 등 성적 대상화 하는 이미지였다. ‘aigenerated(에이아이제너레이티드)’ 관련 게시물에서도 AI가 만들어낸 여성의 음란 사진이 쏟아졌다. 영어뿐 아니라 ‘ai여자’, ‘ai여친’과 같은 한국어로도 음란물이 검색됐다.

X(구 트위터)에서도 AI 음란물 계정이 만연했다. ‘aigirl ○○○’이라는 이름의 계정이 운영되고 있었다. 이 계정은 실제 사람처럼 “잘 잤어?” “행복하자!”는 글과 함께 선정적인 사진을 게시했다.

이에 모든 연령층이 자유롭게 이용하는 SNS에 음란물이 무분별하게 노출된다는 지적이 제기된다. 인스타그램을 이용하는 이 군(15)은 “미성년자인데 가끔 선정적인 사진이 떠서 당황스럽다”고 말했다.

생성형 AI가 실제 사람과 유사한 사진ㆍ영상을 제작하기 때문에 이용자는 해당 게시물이 실제인지 가상인지 분간이 어렵다는 문제도 있다. 이 군은 “처음에는 (AI가 생성한 사진이) 실제 사람 얼굴인지 알았다”며 “요새는 숏츠(1분 이내의 짧은 영상)에서 보이는 유튜버가 진짜인지 가짜인지 구분이 안 간다”고 했다.

사진ㆍ영상에 실존 인물의 얼굴을 합성하는 딥페이크의 우려도 있다. 실제로 틱톡에서는 실제 사람의 몸에 AI가 얼굴만 합성한 ‘AI 인플루언서’도 더러 있었다.

이에 AI가 생성한 음란물에 대한 규제 필요성이 제기된다. 인터넷 음란물의 경우 방송통신심의위원회와 경찰 등이 제재하고 있다. 현재 방심위는 연예인의 얼굴을 음란물에 합성한 ‘딥페이크 성적 허위 영상’을 모니터링해 게시물을 차단ㆍ삭제 시정을 요구하고 있다. 딥페이크 음란물에는 ‘성폭력범죄의 처벌 등에 관한 특례법’을 적용해 제재한다. 방심위는 2일, 올해 1월부터 4월까지 시정 요구한 성적 허위 영상은 4691건이라고 밝힌 바 있다. 이는 지난해 같은 기간 대비 약 400% 급증한 수치다.

다만 제재의 사각지대도 존재한다. AI가 생성한 가상 음란물은 실존 인물을 합성한 딥페이크가 아니기 때문이다. 방심위 관계자는 “AI가 만든 가상 음란물은 ‘일반 음란물’로 본다”며 “성기가 노출되거나 성행위 영상일 경우 심의한다”고 말했다. 음란물은 성폭력처벌법이 아닌, 정보통신망법 이용촉진 및 정보보호 등에 관한 법률 위반으로 분류된다.