오세훈 서울시장과 류희림 방송통신심의위원회 위원장이 28일 오후 시청에서 딥페이크 범죄피해에 신속 대응하기 위한 업무협약을 체결했다. /서울시

[더팩트 | 김해인 기자] 서울시가 24시간 안에 딥페이크 성범죄 영상을 삭제하는 핫라인을 가동한다.

오세훈 서울시장과 류희림 방송통신심의위원회 위원장은 28일 오후 시청에서 딥페이크 범죄피해에 신속 대응하기 위한 업무협약을 체결했다.

최근 중·고등학교, 대학가, 군인 등 딥페이크 영상 유포 문제가 확산하고 있다. 텔레그램에 언급된 전국 피해 학교가 400~500곳으로 추산되며 시민 불안이 커지고 있다.

이에 시는 딥페이크 영상물을 신속하게 삭제하기 위해 지자체 최초로 방심위와 핫라인을 구축하기로 했다. 바로 이날부터 가동한다.

먼저 폐쇄형 SNS에 있는 불법영상물이 성인사이트나 SNS 등 공개사이트에 유포될 경우, 24시간 안에 신속하게 모니터링 및 삭제·차단될 수 있게 조치한다.

기존에는 시 디지털성범죄 안심지원센터에서 방심위에 삭제 요청을 할 때마다 각종 증빙자료를 제출해야 했다. 핫라인을 구축하면 대량 건수를 한번에 삭제 요청할 수 있게 된다.

아울러 아동·청소년도 쉽고 빠르게 대응할 수 있도록 카카오톡 오픈채팅방에 '딥페이크 SOS 전담 상담창구'를 개설한다. 피해지원관 2명을 배치해 신고방법 및 범죄 채증방법을 안내한다.

수사·법률지원 등 피해자에게 필요한 통합지원을 위해 서울디지털성범죄 안심지원센터로도 링크를 연결한다.

오세훈 서울시장과 류희림 방송통신심의위원회 위원장이 28일 오후 시청에서 딥페이크 범죄피해에 신속 대응하기 위한 업무협약을 체결했다. /서울시

또 연말까지 피해상황을 24시간 모니터링하고 자동으로 삭제 신고하는 시스템을 구축한다.

시는 이미 AI로 피해 영상물을 24시간 모니터링하고 있다. AI가 모니터링한 내용을 상담원이 삭제 신고하는 방식이다. 앞으로 서울연구원과 협력해 AI가 검색부터 신고까지 모든 과정을 자동으로 수행하는 기술을 개발한다는 계획이다.

특히 내년에는 AI를 기반으로 한 딥페이크 검출 기술 '서울 안심 아이(Seoul Safe Eye)'를 개발, 딥페이크와 원본 사진·영상물을 구분해 검출한다는 계획이다. 현재는 기존 영상물이 있어야 유사성을 판별해 유포된 영상물을 찾을 수 있는 것에 비해 피해영상물 검출을 대폭 확대할 수 있을 것으로 기대된다.

딥페이크를 호기심이나 장난으로 여기는 아동·청소년을 대상으로 교육을 강화한다. 경찰에 따르면 딥페이크 범죄혐의 피의자 중 10대가 75.8%에 달했다.

내달부터 초·중·고등학교 대상 딥페이크 예방교육을 50개 학급 1000명을 대상으로 실시한다. 청소년 눈높이에 맞춘 보드게임 형식의 예방교육 프로그램을 신설하고 성인 대상 예방 영상물도 시 홈페이지에 게재할 예정이다.

오세훈 시장은 "오늘부터 즉시 딥페이크 영상물을 신고받고 24시간 내 삭제하는 핫라인을 방심위와 함께 운영한다"며 "올해 말까지 AI 기반 딥페이크 검출 기술과 자동 신고 시스템을 개발해 시간 단축, 삭제지원 확대 등 시민들의 딥페이크 영상물 피해를 최소화하도록 노력하겠다"고 말했다.

hi@tf.co.kr