텍스처 대비 감지를 사용하여 AI 생성 이미지 감지

이 글에서는 인공지능이 생성한 이미지를 감지하는 딥러닝 모델을 개발하는 방법을 소개하겠습니다.

AI 생성 이미지를 감지하는 많은 딥 러닝 방법은 이미지 생성 방식이나 이미지의 특성/의미를 기반으로 합니다. 일반적으로 이러한 모델은 사람과 같이 AI가 생성한 특정 개체만 인식할 수 있습니다. , 얼굴, 자동차 등

그러나 "Rich and Poor Texture Contrast: AI 생성 이미지 감지를 위한 단순하면서도 효과적인 접근 방식"이라는 제목의 이 연구에서 제안된 방법은 이러한 문제를 극복하고 적용 가능성이 더 넓습니다. 우리는 AI 생성 이미지를 탐지하는 다른 방법이 직면한 문제를 효과적으로 해결하는 방법을 설명하기 위해 이 연구 논문을 자세히 살펴보겠습니다.

일반화 문제

인공 지능이 생성한 이미지를 인식하기 위해 모델(예: ResNet-50)을 사용할 때 모델은 이미지의 의미를 기반으로 학습합니다. 훈련을 위해 실제 이미지와 다양한 AI 생성 자동차 이미지를 사용하여 AI 생성 자동차 이미지를 인식하도록 모델을 훈련한다면, 모델은 이러한 데이터에서 자동차에 대한 정보만 얻을 수 있으며 다른 개체에 대한 정보는 얻을 수 없습니다. 신분증.

다양한 객체의 데이터에 대해 학습을 수행할 수 있지만 이 방법은 시간이 오래 걸리고 알 수 없는 데이터에 대해 약 72%의 정확도를 얻을 수 있습니다. 훈련 횟수와 데이터 양을 늘려 정확도를 높일 수는 있지만, 훈련 데이터를 무제한으로 얻을 수는 없습니다. 본 논문에서는 모델이 훈련 중에 이미지의 모양으로부터 AI 생성 특징을 학습하는 것을 방지하는 데 사용되는 독특한 방법을 소개합니다. 저자는 이러한 목표를 달성하기 위해 Smash&Reconstruction이라는 방법을 제안합니다.

이 방법에서는 이미지를 미리 정해진 크기의 작은 블록으로 나눈 다음 재배열하여 새로운 이미지를 생성합니다. 생성 모델에 대한 최종 입력 이미지를 형성하기 전에 추가 단계가 필요하므로 이는 간략한 개요일 뿐입니다.

이미지를 작은 패치로 나눈 후 패치를 두 그룹으로 나눕니다. 하나는 질감이 풍부한 패치이고 다른 하나는 질감이 좋지 않은 패치입니다.

물체나 대비되는 색상의 두 영역 사이의 경계 등 이미지의 세밀한 영역이 풍부한 질감 블록이 됩니다. 질감이 풍부한 영역은 하늘이나 잔잔한 물과 같이 주로 배경인 질감이 있는 영역에 비해 픽셀의 변화가 큽니다.

텍스처 풍부도 측정법 계산

위 이미지에 표시된 것처럼 이미지를 미리 결정된 크기의 작은 덩어리로 나누는 것부터 시작하세요. 그런 다음 이러한 이미지 패치의 픽셀 그라데이션을 찾아(즉, 가로, 대각선 및 역대각선 방향의 픽셀 값 차이를 찾아 더함) 텍스처가 풍부한 패치와 텍스처가 낮은 패치로 분리합니다.

질감이 좋지 않은 블록과 비교할 때 질감이 풍부한 블록은 픽셀 그라데이션 값이 더 높습니다. 이미지 그라데이션 값을 계산하는 공식은 다음과 같습니다.

픽셀 대비를 기준으로 이미지를 분리합니다. 두 개의 합성 이미지가 얻어집니다. 이 프로세스는 이 문서에서 "Smash&Reconstruction"이라고 부르는 완전한 프로세스입니다.

fingerprint

대부분의 지문 기반 방법은 이미지 생성 기술로 인해 제한됩니다. 알고리즘은 확산, GAN 또는 기타 CNN 기반 이미지 생성 방법과 같은 특정/유사 방법으로 생성된 이미지만 감지할 수 있습니다.

이 문제를 정확하게 해결하기 위해 논문에서는 이러한 이미지 패치를 풍부한 질감과 낮은 질감으로 나누었습니다. 이어 저자는 논문 제목인 인공지능이 생성한 이미지에서 지문을 식별하는 새로운 방법을 제안했다. 그들은 30개의 고역 통과 필터를 적용한 후 이미지에서 풍부한 패치와 질감이 부족한 패치 사이의 대비를 찾는 것을 제안했습니다.

풍부한 텍스처 블록과 열악한 텍스처 블록의 대비가 어떻게 도움이 되나요?

더 나은 이해를 위해 이미지를 실제 이미지와 AI 생성 이미지를 나란히 비교합니다.

이 두 이미지도 육안으로 보기가 매우 어렵죠?

종이는 먼저 Smash&Reconstruction 과정을 사용합니다:

각 이미지에 30을 적용합니다. 고역 통과 필터, 그들 사이의 대비:

이 결과에서 우리는 AI가 생성한 이미지가 실제 이미지에 비해 질감 패치가 풍부하고 대비가 좋지 않음을 알 수 있습니다. 대비가 훨씬 높습니다.

이런 식으로 육안으로 차이를 볼 수 있으므로 대비 결과를 훈련 가능한 모델에 넣고 결과 데이터를 분류기에 입력할 수 있습니다.

분류기의 구조는 다음과 같습니다.

논문에는 원래 스테가분석을 위해 도입된 30개의 고역 통과 필터가 언급되어 있습니다.

참고: 이미지 스테가노그래피에는 여러 가지 방법이 있습니다. 넓게 말하면, 정보가 어떤 방식으로든 그림에 숨겨져 있어 일반적인 방법으로는 알아내기 어려운 것을 그림 스테가노그래피(picture steganography)라고 할 수 있으며, 관심 있는 분들은 관련 정보를 확인하시면 됩니다.

여기서 필터는 컨볼루션 방식을 사용하여 이미지에 적용한 행렬 값입니다. 사용된 필터는 이미지의 고주파 특성만 통과하도록 허용하는 고역 통과 필터입니다. 고주파 특징에는 일반적으로 가장자리, 미세한 세부 묘사, 강도나 색상의 급격한 변화가 포함됩니다.

(f)와 (g)를 제외한 모든 필터는 비스듬히 회전한 후 이미지에 다시 적용되므로 총 30개의 필터가 구성됩니다. 이러한 행렬의 회전은 SciPy를 사용하여 수행되는 아핀 변환을 사용하여 수행됩니다.

요약

논문의 결과는 92%의 검증 정확도에 도달했으며, 더 많이 훈련하면 더 좋은 결과를 얻을 수 있다고 합니다. 이것은 매우 흥미로운 연구이며 저도 발견했습니다. 관심 있는 사람들은 훈련 코드에 대해 자세히 공부할 수 있습니다:

Paper: https://arxiv.org/abs/2311.12397

Code: https://github.com/hridayK/Detection-of-AI-generated -images