'얼굴 바꾸는 AI', 9초 만에 수백만 명 사취? AI 남용에 대응하기 위해 기술을 사용하는 방법은 무엇입니까?

소후테크놀로지 제작

저자｜정송이

편집자｜양진

최근 AI 얼굴 바꾸는 사기 사건이 빈번히 발생하며 '머스크의 예측' 확인이 예상보다 일찍 이뤄졌다. 두 달 전 머스크와 수천 명의 사람들은 더 강력한 AI 시스템의 훈련을 6개월 중단할 것을 요구하는 공동 서한에 서명했습니다. 그 이유는 더 강력한 AI 시스템이 사회와 인간에게 잠재적인 위험을 초래할 수 있다는 우려 때문이었습니다. 위험이 이미 인간의 삶에 침입했다고는 생각하지 못했습니다.

5월 22일, 'AI 사기가 전국적으로 돌고 있다'라는 주제가 핫 검색어에 급등했습니다. 푸젠성의 한 기술회사 오너가 AI 변태 기술로 친구인 척 사기꾼에게 10분 만에 430만 위안을 사기당한 데 이어, 안후이의 또 다른 남성은 불과 9초 만에 132만 위안을 사기당했다. AI 얼굴변화 기술을 이용한 사기꾼, 네티즌들은 "방어가 불가능하다"고 말했다.

Beijing Huarang 법률 사무소의 Xia Bohan 변호사는 Sohu Technology에 "이러한 행위는 사기 범죄에 해당하며 사기 금액에 따라 최대 종신형까지 처벌받을 수 있습니다. 심층 합성 서비스 제공업체의 경우, 법에 따르면 "인터넷 정보 서비스 심층 합성 관리 규정"은 완전한 관리 규칙 및 플랫폼 규약을 제정 및 공개하고, 법에 따라 관리 책임을 수행하며, 심층 합성 서비스 사용자의 입력 데이터 및 합성 결과를 검토하기 위한 기술적 또는 수동적 방법을 채택해야 합니다. ”

일부 전자상거래 앵커들은 AI 얼굴 변신 영상 사기 외에도 AI 얼굴 변신 기술을 활용해 '성룡', '양미' 등 연예인으로 위장해 실시간으로 상품을 배송해 트래픽을 유도하고 있는 것으로 알려졌다. 생방송 비용을 절약할 수 있습니다. Douyin 플랫폼 관계자는 Sohu Technology에 “플랫폼에서는 얼굴 교환 라이브 방송을 허용하지 않습니다. 적발될 경우 방송이 즉시 중단되며, 여전히 얼굴을 바꾸는 침해 판매자 계정에서 크레딧이 차감됩니다. 폐기 후 생방송 허가가 제한됩니다.”

기술로 인한 위험 문제는 궁극적으로 기술적 수단을 통해 해결되어야 합니다. 다행히도 AI 얼굴 변경 기술이 점점 더 남용됨에 따라 AI 얼굴 변경 기술을 식별하는 새로운 모델도 적용되었습니다.

"AI 얼굴 바꾸기"는 어떻게 구현되나요?

AI 얼굴 변화 기술 연구 및 개발의 원래 의도는 사용자에게 보다 현실적인 시청 경험을 제공하는 것을 목표로 영화 및 TV 엔터테인먼트, 게임 개발 및 기타 분야에 사용되는 것입니다.

AI 얼굴 변경 기술의 구현 원리에는 주로 얼굴 검출, 얼굴 정렬, 특징 추출, 특징 융합, 이미지 재구성이 포함되는 것으로 이해됩니다.

그 중 얼굴 검출 기술은 입력 이미지에서 얼굴 위치와 얼굴 특징을 검출하는 데 사용되며, 얼굴 정렬 기술은 서로 다른 얼굴의 얼굴 특징점을 동일하게 만드는 기술을 사용합니다. 예를 들어 CNN(Convolutional Neural Network)은 얼굴 모양, 질감, 색상 및 기타 특징을 추출하고, 특징 융합 기술은 선형 보간 또는 비선형 보간 변환 방법을 사용하여 서로 다른 두 얼굴의 얼굴 특징을 융합하여 최종적으로 재구성된 얼굴 특징을 사용합니다. 이미지 기술을 사용하면 새로운 얼굴 특징이 이미지 공간에 다시 매핑되어 얼굴 변경 효과가 있는 새로운 이미지를 생성합니다.

Sohu Technology는 현재 인기 있는 "Tencent Cloud AI Face Fusion" 애플리케이션을 테스트 소프트웨어로 선택하여 "AI 얼굴 변경" 기술이 인물 사진 변형에서 얼마나 멀리까지 도달할 수 있는지 확인했습니다.

Sohu Technology는 무작위로 남성의 사진을 템플릿으로 선택하고 Daniel Wu의 사진을 선택한 얼굴 사진으로 사용했습니다. 테스트 결과 AI 처리된 남성의 초상화는 눈썹과 눈 사이에서 Daniel Wu의 특징을 보여주었지만 다른 부분에서는 Daniel Wu의 특징이 나타났습니다. 헤어스타일 등 얼굴 변화는 일어나지 않았다.

바오터우 경찰이 공개한 바에 따르면, 4월 20일 푸저우에 있는 한 기술 회사의 법률 대리인인 궈씨의 친구가 갑자기 위챗 영상을 통해 그에게 연락을 했고, 두 사람이 잠시 대화를 나눈 후 그 친구는 궈씨에게 자신의 친구가 있다고 말했습니다. 다른 곳에서 입찰했는데 보증금이 430만 위안인데 공개계좌에서 공개계좌로 이체해야 해서 궈씨 회사계좌를 빌려 결제하고 싶습니다. 그 친구는 궈 씨에게 은행 카드 번호를 물었고, 그 돈이 궈 씨의 계좌로 이체되었다고 주장했습니다. 그는 또한 위챗을 통해 궈 씨에게 은행 송금 영수증 스크린샷을 보냈습니다. 궈씨는 영상채팅의 신뢰를 바탕으로 돈이 도착했는지 확인도 하지 않고 2차례에 걸쳐 430만 위안을 상대방에게 송금했다. 돈이 이체된 후 궈 씨는 위챗으로 친구에게 문제가 해결되었다는 메시지를 보냈습니다. 하지만 그가 예상하지 못했던 것은 친구가 돌아왔다는 소식이 물음표로 밝혀졌다는 점이다.

Guo 씨는 친구에게 전화를 걸었고 상대방은 그런 일이 없다고 말했습니다. 그제서야 그는 상대방이 지능형 AI 얼굴 변경 기술을 사용했다는 사실을 깨달았습니다. 친구를 속이고 그를 속였습니다.

소후테크놀로지의 IT 기술자들은 현재 휴대폰에 탑재된 실시간 미화와 유사한 AI 실시간 얼굴 변화 도구를 전문적으로 개발하는 해커가 있다고 분석했습니다. 범죄자는 허점을 이용하여 피해자 친구의 WeChat 계정을 훔치고, 소셜 플랫폼을 통해 피해자 친구의 사진이나 동영상을 획득하고, 카메라로 자신의 얼굴 특징을 캡처한 다음 실시간 AI 얼굴 변경 도구를 사용하여 피해자 친구를 융합할 수 있습니다. ' 사기 목적을 달성하기 위해 자신의 얼굴 특징을 가지고 피해자의 친구인 척 대화를 나누는 것입니다.

AI 남용에 대응하는 기술은 어떤 발전을 이루고 있나요?

악마의 키는 한 자이고 도의 키는 한 자입니다. 2020년 Microsoft Research Asia와 Peking University는 "보다 일반적인 얼굴 위조 탐지를 위한 얼굴 X-Ray"라는 논문을 공동으로 발표했습니다. AI 얼굴 변경 기술을 식별하는 데 사용되는 새로운 모델인 Face X-Ray는 두 가지 주요 특성을 가지고 있습니다. 일반화 알려지지 않은 얼굴 스와핑 알고리즘에 대해 설명 가능한 얼굴 스와핑 경계를 제공할 수 있습니다.

논문의 주요 저자 중 한 명이자 Microsoft Research Asia의 부사장인 Guo Baining은 "이미지 수집 과정에서 각 이미지는 고유한 특성을 갖습니다. 이러한 이미지는 촬영 하드웨어나 처리 소프트웨어에서 나올 수 있습니다. 통합되지 않는 한 생성된 이미지는 융합 과정에서 단서를 남기게 됩니다. 이러한 단서는 사람의 눈에는 보이지 않지만 딥러닝을 통해 포착할 수 있습니다.”

논문에서는 이미지 노이즈 분석 및 오류 수준 분석 기술을 보여줍니다. 실제 이미지는 일관된 노이즈 패턴을 보이는 반면 얼굴 교체는 분명히 다르다는 것을 알 수 있습니다(그룹 a의 사진은 실제 얼굴이고 그룹 b의 사진은 합성 이미지입니다. , 가운데 오른쪽 열은 노이즈 분석 이미지, 오른쪽 열은 오류 수준 분석 이미지).

'AI 얼굴 변화'의 효과적인 식별은 기술적인 근거가 있으며 해결 불가능한 문제는 아니라고 볼 수 있습니다. 텐센트 클라우드(Tencent Cloud)로 대표되는 국내 기술 기업들은 'Anti-Deepfake(ATDF)' 기술을 이용해 '얼굴 변화 스크리닝' 애플리케이션을 개발하고 있으며, 얼굴 변화 등 AI 기술 남용에 대응하기 위해 AI 기술을 활용하는 것을 목표로 하고 있다.

보고서에 따르면 Anti-Deepfake는 수동적 탐지와 능동적 방어의 두 가지 범주로 나뉩니다. 수동적 탐지 기술은 사후 증거 수집, 즉 제작 및 유포된 동영상을 탐지하여 가짜 얼굴인지 여부를 판단하는 데 중점을 둡니다. 또 다른 준능동방어 기술은 선제적 방어, 즉 얼굴 데이터가 공개 및 유포되기 전에 워터마크, 노이즈 방지 등의 숨겨진 정보를 추가하여 적극적으로 출처를 추적하거나 방지하는 데 중점을 둡니다. 악의적인 사용자가 위조를 위해 노이즈가 추가된 얼굴 영상을 사용하는 것을 방지하여 인간의 얼굴을 보호하고 적극적 방어를 달성한다는 목적을 달성합니다.

중국 사이버 공간 관리국, 공업정보화부, 공안부가 공동으로 발행한 "인터넷 정보 서비스 심층 합성에 관한 관리 규정" 제6조에서는 "어떠한 조직이나 개인도 심층적인 정보 서비스를 사용할 수 없습니다"라고 명확히 규정하고 있습니다. 법률 및 행정법규에서 금지하는 정보를 생산, 복사, 출판 또는 전파하는 합성 서비스 심층합성 서비스에서 제공하는 정보를 사용하여 국가 안보 및 이익을 위협하고 국가 이미지를 훼손하는 등 법률 및 행정법규에서 금지하는 활동에 가담해서는 안 됩니다. , 사회 및 공익을 침해하고, 경제 및 사회 질서를 교란하며, 타인의 정당한 권익을 침해하는 행위입니다.”

Xia Bohan은 “현재 많은 휴대폰 애플리케이션에서 얼굴 인식 인증을 요구하고 있습니다. 범죄자는 AI 얼굴 인식 기술을 사용하여 자신을 실권자로 사칭할 수 있습니다. 이를 위해서는 개인 정보를 엄격하게 보호해야 합니다. 정보 유출을 방지하기 위해 다른 인증 방법을 설정하는 것이 좋습니다. 반면, 소프트웨어 공급업체는 보안을 강화하고 범죄자가 상황을 이용하지 못하도록 기술을 더욱 개발해야 합니다.”

위 내용은 '얼굴 바꾸는 AI', 9초 만에 수백만 명 사취? AI 남용에 대응하기 위해 기술을 사용하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!