생성 속도는 SDXL보다 두 배 빠르며 9GB GPU에서도 실행될 수 있어 가격 대비 성능 비율이 향상되었습니다.

텍스트 조건 생성(단계 C)을 디코딩에서 고해상도 픽셀 공간(단계 A 및 B)으로 분리함으로써 훈련과 유사하게 ControlNets 및 LoRA를 포함하여 단계 C에서 추가 훈련 또는 미세 조정을 완료할 수 있습니다. 동일한 크기의 Stable Diffusion 모델로 비용을 1/16로 줄일 수 있습니다. 단계 A와 B는 추가 제어를 위해 선택적으로 미세 조정할 수 있지만 이는 안정 확산 모델에서 VAE를 미세 조정하는 것과 유사합니다. 대부분의 경우 그렇게 하면 얻을 수 있는 이점은 미미합니다. 따라서 대부분의 목적에 대해 Stability AI는 공식적으로 C 단계만 교육하고 A 단계와 B 단계의 원래 상태를 사용할 것을 권장합니다.

Phase C와 B는 Phase C의 경우 1B 및 3.6B 매개변수 모델, Phase B의 경우 700M 및 1.5B 매개변수 모델의 두 가지 모델을 출시합니다. Stage C에는 3.6B 매개변수가 있는 모델이 가장 높은 품질의 출력을 제공하므로 권장됩니다. 그러나 최소 하드웨어 요구 사항을 원하는 경우 1B 매개변수 버전을 사용할 수 있습니다. Stage B의 경우 두 릴리스 모두 좋은 결과를 얻었지만 1.5B 매개변수 버전은 재구성 세부 사항 측면에서 더 나은 성능을 발휘합니다. Stable Cascade의 모듈식 접근 방식 덕분에 추론을 위한 예상 VRAM 요구 사항을 약 20GB로 유지할 수 있습니다. 이는 더 작은 변형을 사용하여 더욱 줄일 수 있으며, 이로 인해 최종 출력 품질도 저하될 수 있다는 주의가 필요합니다.

비교

평가에서는 Stable Cascade가 비교한 거의 모든 모델에 비해 빠른 정렬과 미적 품질 측면에서 가장 좋은 성능을 보였습니다. 아래 그림은 부분 프롬프트와 미적 프롬프트를 혼합하여 인간이 평가한 결과를 보여줍니다.

^{Stable Cascade(30 추론 단계) vs. Playground v2(50 추론 단계), SDXL(50 추론 단계) , SDXL Turbo(1 추론 단계) 및 Würstchen V2(30 추론 단계)를 비교합니다.}

^{Stable Cascade, SDXL, Playground V2 및 SDXL Turbo} Stable Cascade의 효율성에 대한 초점은 아키텍처와 더 높은 압축 가능성. 가장 큰 모델이 Stable Diffusion XL보다 1.4B 더 많은 매개변수를 갖고 있음에도 불구하고 추론 시간은 여전히 ​​더 빠릅니다.

추가된 기능

Stable Cascade는 표준 텍스트-이미지 생성 외에도 이미지 변형 및 이미지-이미지 생성도 생성할 수 있습니다.

주어진 이미지에 노이즈를 추가한 다음 시작점으로 이미지를 생성하는 방식으로 이미지를 이미지로 변환합니다. 아래는 왼쪽 이미지에 노이즈를 추가한 다음 거기에서 노이즈를 생성하는 예입니다.

훈련, 미세 조정, ControlNet 및 LoRA용 코드

Stable Cascade 출시와 함께 Stability AI는 훈련, 미세 조정, ControlNet 및 LoRA용 모든 코드를 공개하여 추가 실험에 대한 요구 사항을 줄입니다. 이 아키텍처로. 다음은 모델과 함께 출시될 일부 ControlNet입니다.

Canny Edge: 모델에 입력된 기존 이미지의 가장자리를 기반으로 새로운 이미지를 생성합니다. Stability AI 테스트에 따르면 스케치 크기를 조정할 수도 있습니다.型 型 상단은 입력 모델의 스케치, 하단은 출력 결과

2x 초해상도: 이미지의 해상도를 측면 길이의 2배로 늘리는 것(예: 1024 x 1024 이미지를 2048 x 2048 출력으로 변환)은 단계 C에서 생성된 잠재 표현에도 사용할 수 있습니다.

이 가격 대비 가치가 마음에 드시나요?