ControlNet 저자의 새로운 작품: AI 페인팅을 레이어로 나눌 수 있습니다! 이 프로젝트는 오픈 소스 없이 별 660개를 획득했습니다.

"결코 단순한 컷아웃이 아닙니다."

ControlNet 작성자 최신 연구는 큰 주목을 받았습니다. -

Stable Diffusion을 사용하여 단일 또는 다중 생성을 직접 생성할 수 있습니다. 투명 레이어 (PNG) !

예:

침실에서 머리를 헝클어진 여성.
침실에 헝클어진 머리를 가진 여자

AI가 프롬프트에 맞는 완전한 이미지를 생성했을 뿐만 아니라 배경과 캐릭터까지 분리할 수 있다는 것을 알 수 있습니다.

그리고 캐릭터 PNG 이미지를 확대해서 자세히 보면 머리카락 가닥이 또렷하게 나와있습니다.

또 다른 예를 살펴보세요.

시골에서 테이블 위에서 장작을 태우는 모습입니다.
시골에서 테이블 위에 장작을 태우고 있습니다.

마찬가지로 "불타는 성냥"의 PNG를 확대하면 불꽃 주변의 검은 연기까지 분리할 수 있습니다.

이것은 ControlNet의 저자 제안된 새로운 방법인 LayerDiffusion을 사용하면 사전 훈련된 대규모 잠재 확산 모델이 투명한 이미지를 생성할 수 있습니다.

LayerDiffusion은 이미지 잘라내기만큼 간단하지 않으며 초점은 세대에 있다는 점을 다시 강조할 가치가 있습니다.

네티즌들이 말했듯이:

이것은 현재 애니메이션 및 비디오 제작의 핵심 프로세스 중 하나입니다. 이 단계를 통과할 수 있다면 SD 일관성은 더 이상 문제가 되지 않는다고 할 수 있다.

일부 네티즌들은 이 작업이 어렵지 않고 그냥 '그나저나 알파채널만 추가하면 된다'고 생각했지만, 그를 놀라게 한 점은

결과가 나올 때까지 너무 오랜 시간이 걸렸다는 것입니다. 밖으로.

그럼 LayerDiffusion은 어떻게 구현되나요?

PNG, 이제 생성 루트를 시작합니다

LayerDiffusion의 핵심은 잠재 투명도(잠재 투명도)라는 방법입니다.

간단히 말하면 사전 훈련된 잠재 확산 모델(예: Stable Diffusion)의 잠재 분포를 파괴하지 않고 모델에 투명성을 추가할 수 있습니다.

구체적인 구현 측면에서 이는 잠상에 세심하게 설계된 작은 섭동 (오프셋) 을 추가하는 것으로 이해될 수 있습니다. 이 섭동은 RGB 채널과 함께 완전한 잠상을 구성하는 추가 채널로 인코딩됩니다.

투명성의 인코딩 및 디코딩을 달성하기 위해 저자는 두 개의 독립적인 신경망 모델을 훈련했습니다. 하나는 잠재 투명성 인코더(잠재 투명성 인코더)이고 다른 하나는 잠재 투명성 디코더(잠재 투명성 인코더)입니다. 투명도 디코더).

인코더는 원본 이미지의 RGB 채널과 알파 채널을 입력으로 받아 투명도 정보를 잠재 공간의 오프셋으로 변환합니다.

디코더는 조정된 잠상과 재구성된 RGB 이미지를 수신하고 잠재 공간에서 투명도 정보를 추출하여 원본 투명 이미지를 재구성합니다.

추가된 잠재적 투명성이 사전 훈련된 모델의 기본 분포를 파괴하지 않도록 하기 위해 저자는 "무해성" (무해함) 측정항목을 제안합니다.

이 측정항목은 사전 훈련된 원본 모델의 디코더에 의해 조정된 잠상의 디코딩 결과를 원본 이미지와 비교하여 잠재 투명도의 영향을 평가합니다.

훈련 과정에서 저자는 재구성 손실 (재구성 손실) , 신원 손실(신원 손실) 및 판별자 손실 (판별기 손실)을 결합한 관절 손실 함수 (관절 손실 함수) 도 사용합니다. ).

그들의 역할은 다음과 같습니다:

• 재구성 손실: 디코딩된 이미지가 원본 이미지와 최대한 유사하도록 하는 데 사용됩니다.
• 신원 손실: 조정된 잠상이 사전에 의해 올바르게 디코딩될 수 있는지 확인하는 데 사용됩니다. 훈련된 디코더 ;
• 판별기 손실: 생성된 이미지의 사실성을 향상시키는 데 사용됩니다.

이 접근 방식을 사용하면 모든 잠재 확산 모델을 조정된 잠재 공간에 맞게 미세 조정하기만 하면 투명 이미지 생성기로 변환할 수 있습니다.

잠재 투명도의 개념을 확장하여 여러 투명 레이어를 생성할 수도 있고 다른 조건부 제어 시스템과 결합하여 전경/배경 조건 생성, 결합 레이어 생성, 레이어 구조 제어와 같은 보다 복잡한 이미지 생성 작업을 달성할 수도 있습니다. 내용 등

저자가 LayerDiffusion의 기능을 풍부하게 하기 위해 ControlNet을 소개하는 방법도 보여준다는 점은 언급할 가치가 있습니다.

전통적인 매트의 차이점

LayerDiffusion과 기존의 매트의 차이점은 다음과 같습니다. 다음 사항으로 요약됩니다.

기본 생성 vs. 사후 처리

LayerDiffusion은 생성 프로세스 중에 투명도 정보를 직접 고려하고 인코딩하는 기본 투명 이미지 생성 방법입니다. 이는 모델이 이미지를 생성하는 동안 알파 채널 을 생성하여 투명한 이미지를 생성한다는 것을 의미합니다.

을 통해 전경과 배경을 분리하는 작업이 포함됩니다. 이 접근 방식에는 투명성을 처리하기 위한 추가 단계가 필요한 경우가 많으며 복잡한 배경이나 가장자리에서 부자연스러운 전환이 발생할 수 있습니다.

LayerDiffusion은 모델이 더 복잡한 이미지 특징을 학습하고 생성할 수 있는 중간 표현인 잠재 공간(잠재 공간)에서 작동합니다. 잠재 공간에서 투명도를 인코딩함으로써 모델은 픽셀 수준에서 복잡한 계산을 할 필요 없이 생성 중에 투명도를 자연스럽게 처리할 수 있습니다.