더스쿠프 커버스토리 視리즈창작의 주체 AI, 양날의 검 2편범죄로 악용되는 딥페이크에저품질 콘텐츠 AI슬롭까지생성형 AI의 또다른 이면 생성형 인공지능(AI)이 불러온 '창작의 대중화'의 이면엔 어두운 그림자도 깔려 있습니다. AI를 가짜 뉴스와 성범죄에 악용하는 '딥페이크', 기계적으로 찍어내는 저질 콘텐츠 'AI 슬롭' 등이 그것입니다. 하지만 우리 사회의 정화 능력은 그림자가 퍼지는 속도를 좀처럼 따라가지 못하고 있습니다. 이대로 괜찮은 걸까요. '창작의 주체 AI, 양날의 검' 2편입니다. 생성형 AI가 만드는 가짜ㆍ저품질 콘텐츠가 논란의 도마에 올랐다. 사진은 생성형 AI '제미나이'가 만든 결과물.[사진 | 제미나이] 우리는 지난 1편에서 생성형 AI가 콘텐츠 산업에 몰고 온 긍정적인 파급력을 살펴봤습니다. 가장 혁신적인 면은 단연 '비용 파괴'였습니다. 이제는 막대한 자본이나 전문기술이 없어도 번뜩이는 기획력만 있으면 어렵지 않게 고품질 콘텐츠를 만들 수 있습니다. 이는 기업뿐만 아니라 평범한 개인에게도 해당하는 변화입니다. ■ AI 시대의 그림자① 딥페이크 = 하지만 AI 콘텐츠가 우리에게 긍정적인 영향만 주는 건 아닙니다. 아이러니하게도 AI 콘텐츠가 정교해질수록 이를 악용한 범죄의 위협 역시 강해지고 있습니다. 그중에서도 가장 심각한 사회 문제로 대두된 것이 바로 '딥페이크(deepfake)'입니다. 딥페이크는 특정 인물의 얼굴이나 목소리를 다른 영상에 합성하거나 변형해 가짜 이미지와 영상을 만들어내는 기술입니다. 과거엔 고도의 편집 기술이 필요했지만, 이제는 생성형 AI를 통해 누구나 손쉽게 제작할 수 있게 되면서 온라인상에서 각종 사기ㆍ성범죄의 핵심 도구로 전락했습니다. 피해 규모도 작지 않습니다. 경찰청 국가수사본부에 따르면, 2024년 11월부터 지난해 10월까지 실시한 집중단속에서 사이버 성폭력 4413건을 적발했는데, 그중 딥페이크를 활용한 '허위영상물 범죄'가 35.2%(1553건)로 가장 많은 비중을 차지했습니다. 10대 피의자의 딥페이크 범죄도 2022년 52건에서 2024년 548건으로 2년 사이 10배 이상 증가했습니다. 물론 딥페이크를 규제하는 법망을 만들긴 했습니다. 지난 1월 22일부터 시행된 '인공지능 발전과 신뢰 기반 조성 등에 관한 법률(일명 AI 기본법)'에 따르면 AI를 사용해 사진이나 음성ㆍ영상 등을 제작한 경우, 반드시 해당 콘텐츠가 AI로 만들어졌음을 알리는 워터마크와 같은 '표시'를 해야 합니다. 위반 시 최대 3000만원의 과태료가 부과될 수 있습니다. 다만, 1년간 계도 기간을 갖습니다. 내년 1월까진 워터마크를 달지 않아도 제재를 받지 않습니다. 그렇다면 AI 기본법은 1년 후 딥페이크를 막는 '해법'이 될 수 있을까요? 글쎄요, 현재로선 실효성을 담보하기 어렵습니다. 생성형 AI가 남긴 워터마크를 또 다른 AI 도구를 활용해 감쪽같이 지워버릴 수 있기 때문입니다. 실제로 클릭 몇번만으로 영상과 이미지의 워터마크를 흔적도 없이 제거해 주는 무료 프로그램들은 온라인상에 널려 있습니다. 메신저ㆍSNS 등 플랫폼들이 딥페이크 영상을 규제하는 데 소극적이라는 지적도 나옵니다. 조새한 변호사(법무법인 자산)는 "딥페이크 사진과 영상은 메신저나 SNS 등 플랫폼을 통해 돌아다니지만, 대부분의 플랫폼이 신고에 의존하는 게 문제"라면서 "플랫폼이 책임 의식을 느끼고 적극적으로 행동해야 그나마 범죄 악용 가능성이 줄어들 것"이라고 꼬집었습니다. ■ AI 시대의 그림자② AI 슬롭 = AI 콘텐츠의 어두운 면은 또 있습니다. 'AI 슬롭'입니다. 오물, 음식물 찌꺼기를 뜻하는 슬롭(slop)에서 유래한 이 용어는 생성형 AI를 활용해 대량으로 만들어진 저품질의 디지털 콘텐츠를 의미합니다. 슬롭을 '2025년 단어'로 선정한 미국 사전 출판사 '메리엄 웹스터'에 따르면, 고양이가 말하는 황당한 영상, 엉터리 광고 이미지, 유치한 선전물, 진짜처럼 보이는 가짜 뉴스, AI가 쓴 조잡한 책 등이 AI 슬롭에 해당합니다. 이 낯선 단어는 우리나라에서 더 예민하게 받아들여야 합니다. 한국이 최근 'AI 슬롭 1위 국가'란 불명예를 떠안았기 때문입니다. AI 영상 편집 플랫폼 캡윙(Kapwing)이 국가별 인기 유튜브 채널 상위 100개(2025년 10월 기준)를 조사한 결과에 따르면, 한국의 AI 슬롭 채널 조회수는 84억5000만회로 파키스탄(53억회)과 미국(34억회)을 제치고 20개국 중 1위를 기록했습니다. 이뿐만이 아닙니다. 캡윙은 가장 많은 조회수를 보유한 AI 슬롭 채널 10개 중 4개가 한국 채널로 추정된다고 밝혔습니다. 이들 4개 채널의 총 조회수만 67억3000만회에 달합니다. "한국이 AI 슬롭 수출국이 됐다"는 조롱 섞인 지적이 나오는 건 이런 이유에서입니다. 이런 AI 슬롭의 문제는 이만저만 아닙니다. 무엇보다 선량한 창작자들의 생태계를 위협합니다. 끊임없이 콘텐츠를 찍어내는 저품질 콘텐츠가 알고리즘의 허점을 파고들어 유튜브ㆍSNS 등 플랫폼의 트래픽(이용량)을 독식하면, 시간과 노력을 들여 만든 '사람의 창작물'은 뒤로 밀려날 수밖에 없습니다. AI 슬롭이 시장의 공정한 경쟁 질서를 훼손하고 있는 겁니다. 이같은 문제를 의식했는지 플랫폼들이 자체적으로 정화에 나서고 있는 건 그나마 다행스러운 소식입니다. 지난 2월 캡윙은 "유튜브가 AI 슬롭 채널들을 대거 삭제했다"고 밝혔습니다. 업계에 따르면 삭제 채널의 구독자 수는 총 3500만명, 누적 조회수는 47억회로 추산됩니다. 사진은 지난해 온라인 커뮤니티에서 유행했던 AI 슬롭.[일러스트 | 더스쿠프 포토] 닐 모한 유튜브 최고경영자(CEO)는 지난 1월 22일 발표한 '2026년 연례 서한'에서 "AI가 생성한 콘텐츠와 실제를 구분하기가 점점 더 어려워지고 있다"면서 "기존의 검증된 시스템을 강화해 저품질ㆍ반복형 AI 콘텐츠가 확산하는 걸 줄이기 위해 적극적으로 노력할 것"이라고 밝혔습니다. 이처럼 AI는 콘텐츠 시장의 패러다임을 빠른 속도로 바꾸고 있습니다. 평가는 엇갈립니다. 창작의 문턱을 낮췄다는 긍정적인 평가도 있지만, 범죄나 왜곡의 도구로 쓰일 수 있다는 우려 섞인 진단도 나옵니다. 관건은 우리가 '양날의 검' AI를 제대로 통제할 수 있느냐입니다. 아직은 알 수 없습니다. 그래서 더 대비해야 합니다. AI를 통제할 수 있는 골든타임은 'AI가 아직은 완벽하지 않은' 지금일지 모릅니다. 이혁기 더스쿠프 기자[email protected] Copyright © 더스쿠프. 무단전재 및 재배포 금지.