생성 AI의 5가지 주요 모델: VAE, GAN, 확산, 트랜스포머, NeRF-일체 포함-php.cn

작업에 적합한 GenAI 모델을 선택하려면 각 모델에 사용되는 기술과 해당 모델의 특정 기능을 이해해야 합니다. 아래에서 VAE, GAN, Diffusion, Transformer 및 NerF의 5가지 GenAI 모델에 대해 알아보세요.

생성 AI의 5가지 주요 모델: VAE, GAN, 확산, 트랜스포머, NeRF

이전에는 대부분의 AI 모델이 더 나은 데이터 처리, 분석, 해석에 중점을 두었습니다. 최근까지 소위 생성 신경망 모델의 획기적인 발전으로 사진과 그림부터 시, 코드, 시나리오, 영화에 이르기까지 모든 종류의 콘텐츠를 생성하기 위한 다양한 새로운 도구가 탄생했습니다.

최고의 AI 생성 모델 개요

2010년대 중반, 연구자들은 생성 AI 모델에 대한 새로운 전망을 발견했습니다. 당시 그들은 VAE(Variational Autoencoder), GAN(Generative Adversarial Network), 확산 모델(Diffusion)을 개발했습니다. 2017년에 소개된 Transformers는 대규모 데이터 세트를 대규모로 분석하여 대규모 언어 모델(LLM)을 자동으로 생성할 수 있는 획기적인 신경망입니다. 2020년까지 연구원들은 3D 이미지에서 2D 콘텐츠를 생성할 수 있는 NeRF(Neural Radiation Field) 기술을 도입했습니다.

이러한 생성 모델의 급속한 개발은 연구원들이 조정함에 따라 진행 중인 작업입니다. 종종 엄청난 개선으로 이어지며, 놀라운 진행 속도가 느려지지 않습니다. 캘리포니아 대학교 버클리 캠퍼스의 White 교수는 "모델 아키텍처는 끊임없이 변화하고 있으며 새로운 모델 아키텍처는 계속해서 개발될 것입니다."라고 말했습니다.

각 모델에는 현재 고유한 기능이 있습니다. 확산(Diffusion) 모델은 다음과 같습니다. 이미지와 비디오에 사용됨 합성 필드는 매우 잘 작동하고 Transformer는 텍스트 필드에서 잘 작동하며 GAN은 합리적인 합성 샘플로 작은 데이터 세트를 늘리는 데 능숙합니다. 그러나 최상의 모델을 선택하는 것은 항상 특정 사용 사례에 따라 다릅니다.

모든 모델은 다르며 AI 연구원과 ML(기계 학습) 엔지니어는 컴퓨팅, 메모리 및 자본 제한 측면에서 모델의 가능한 제한을 고려하여 적절한 사용 사례와 필요한 성능에 적합한 모델을 선택해야 합니다. .

특히 변환기 모델은 생성 모델의 최신 발전과 발전에 기여했습니다. UST Digital Transformation Consulting의 수석 AI 설계자인 Adnan Masood는 다음과 같이 말했습니다. "AI 모델의 최신 혁신은 대량의 데이터에 대한 사전 교육과 자기 지도 학습을 사용하여 명시적인 레이블 없이 모델을 교육하는 것에서 비롯됩니다." 예를 들어, OpenAI의 사전 학습된 생성적 변환기 모델 제품군은 해당 카테고리에서 가장 크고 강력한 모델 중 하나입니다. 그중 GPT-3 모델에는 175억 개의 매개변수가 포함되어 있습니다

최고 생성 AI 모델의 주요 응용

Masood는 최고 생성 AI 모델이 다양한 기술과 방법을 사용하여 새로운 데이터를 생성한다고 설명했습니다. 이러한 모델의 주요 기능 및 용도는 다음과 같습니다.

VAE는 인코더-디코더 아키텍처를 사용하여 개인 정보 보호를 위한 합성 얼굴 생성과 같이 이미지 및 비디오 생성에 일반적으로 사용되는 새로운 데이터를 생성합니다.

GAN은 생성기와 판별기를 사용하여 새로운 데이터를 생성합니다. 이는 비디오 게임 개발에서 사실적인 게임 캐릭터를 만들기 위해 자주 사용됩니다.
확산은 노이즈를 추가한 다음 제거하여 높은 수준의 디테일을 갖춘 고품질 이미지를 생성하여 자연 장면에 거의 사실적인 이미지를 만듭니다.
Transformer는 기계 번역, 텍스트 요약 및 이미지 생성을 위해 순차적 데이터를 병렬로 효율적으로 처리합니다.
NeRF는 신경 표현을 사용하여 3D 장면 재구성에 대한 새로운 접근 방식을 제공합니다.
아래에서 각 방법을 더 자세히 살펴보겠습니다.

VAE

VAE는 신경망을 사용하여 데이터를 보다 효율적으로 인코딩하기 위해 2014년에 개발되었습니다.

Sisense의 AI 책임자인 Yael Lev는 인공 지능 분석 플랫폼 VAE가 Express 정보를 더 효과적으로 학습했다고 말했습니다. VAE는 데이터를 압축하는 인코더와 데이터를 원래 형식으로 복원하는 디코더의 두 부분으로 구성됩니다. 더 작은 정보에서 새로운 인스턴스를 생성하고, 시끄러운 이미지나 데이터를 복구하고, 데이터에서 비정상적인 콘텐츠를 감지하고 누락된 정보를 채우는 데 적합합니다

그러나 UST의 Masood에 따르면 VAE(변형 자동 인코더)도 흐릿하거나 품질이 낮은 이미지를 생성하는 경향이 있다고 합니다. 또 다른 문제는 데이터 구조를 캡처하는 데 사용되는 저차원 잠재 공간이 복잡하고 어렵다는 것입니다. 이러한 단점은 고품질 이미지나 잠재 공간에 대한 명확한 이해가 필요한 응용 프로그램에서 VAE의 효율성을 제한할 수 있습니다. VAE의 다음 반복은 생성된 데이터의 품질을 개선하고 훈련 속도를 높이며 시퀀스 데이터에 대한 적용 가능성을 탐색하는 데 중점을 둘 것입니다. 수치. GAN은 가짜 콘텐츠를 탐지하는 신경망과 실제 콘텐츠를 생성하는 신경망을 연결합니다. PwC의 글로벌 AI 리더인 Anand Rao는 "점차적으로 두 네트워크가 합쳐져 원본 데이터와 구별할 수 없는 생성된 이미지를 생성합니다."라고 말했습니다.

생성 AI의 5가지 주요 모델: VAE, GAN, 확산, 트랜스포머, NeRF GAN은 일반적으로 이미지 생성, 이미지 편집, 초해상도에 사용됩니다. , 데이터 증대, 스타일 전송, 음악 생성 및 딥페이크 생성. GAN의 한 가지 문제점은 생성기가 제한적이고 반복적인 출력을 생성하여 훈련하기 어렵게 만드는 모드 붕괴로 어려움을 겪을 수 있다는 것입니다. Masood는 차세대 GAN이 훈련 프로세스의 안정성과 융합을 개선하고 다른 분야로의 적용성을 확장하며 보다 효과적인 평가 지표를 개발하는 데 중점을 둘 것이라고 말했습니다. GAN은 또한 최적화 및 안정화가 어렵고 생성된 샘플에 대한 명확한 제어가 없습니다.

Diffusion

확산 모델은 2015년 Stanford University의 연구진이 엔트로피와 소음을 시뮬레이션하고 반전시키기 위해 개발했습니다. 확산 기술은 소금과 같은 물질이 액체로 확산된 후 반전되는 현상과 같은 현상을 시뮬레이션하는 방법을 제공합니다. 이 동일한 모델은 빈 이미지에서 새로운 콘텐츠를 생성하는 데도 도움이 됩니다.

생성 AI의 5가지 주요 모델: VAE, GAN, 확산, 트랜스포머, NeRF Diffusion 모델은 현재 이미지 생성을 위한 첫 번째 선택이며 Dall-E 2, Stable Diffusion, Midjourney 및 Imagen과 같은 인기 있는 이미지 생성 서비스의 기본 모델입니다. 또한 파이프라인에서 음성, 비디오 및 3D 콘텐츠를 생성하는 데 사용됩니다. 또한 누락된 데이터가 예측되고 생성되는 데이터 대치에 확산 기술을 사용할 수 있습니다.

많은 응용 프로그램에서 텍스트-이미지 또는 텍스트-비디오 생성을 위해 확산 모델을 LLM과 결합합니다. 예를 들어 Stable Diffusion 2는 대조 언어-이미지 사전 학습 모델을 텍스트 인코더로 사용하고 깊이 및 업스케일링을 위한 모델도 추가합니다.

Masood는 안정적인 확산과 같은 모델의 추가 개선이 부정적인 단서 개선, 특정 아티스트 스타일의 이미지 생성 능력 강화, 유명인 이미지 개선에 초점을 맞출 수 있다고 예측합니다.

Transformers

Transformers 모델은 언어 번역을 개선하기 위해 2017년 Google Brain 팀에서 개발되었습니다. 이러한 모델은 다양한 순서로 정보를 처리하는 데 적합하며 데이터를 병렬로 처리할 수 있으며 레이블이 없는 데이터를 활용하여 대규모 모델로 확장할 수도 있습니다.

재작성된 콘텐츠: 이러한 기술은 텍스트 요약, 챗봇, 추천 엔진, 언어 번역에 적용할 수 있습니다. , 지식 기반, 개인화된 추천(선호도 모델을 통한), 감정 분석, 사람, 장소 및 사물을 식별하기 위한 명명된 엔터티 인식 등이 있습니다. 또한 OpenAI의 Whisper 기술과 같은 음성 인식은 물론 비디오 및 이미지의 객체 감지, 이미지 캡션, 텍스트 분류 및 대화 생성과 같은 영역에서도 사용할 수 있습니다

다양성에도 불구하고

Transformers

한계가 존재합니다. 훈련하는 데 비용이 많이 들고 대규모 데이터 세트가 필요할 수 있습니다. 결과 모델도 상당히 크기 때문에 편향이나 부정확한 결과의 원인을 식별하기가 어렵습니다. Massoud는 "복잡함으로 인해 내부 작동 방식을 설명하기 어려워지고 해석 가능성과 투명성이 저하됩니다."라고 Massoud는 말했습니다.

Transformer Model Architecture

NeRF

NeRF는 3D 캡처를 위해 2020년에 개발되었습니다. 라이트 필드를 신경망으로 표현한 첫 번째 구현은 매우 느렸으며 첫 번째 3D 이미지를 캡처하는 데 며칠이 걸렸습니다

생성 AI의 5가지 주요 모델: VAE, GAN, 확산, 트랜스포머, NeRF

그러나 2022년 NVIDIA의 연구원들은 약 30초 만에 새로운 모델을 생성하는 방법을 발견했습니다. 이러한 모델은 비슷한 품질로 몇 메가바이트 단위로 3D 개체를 표현할 수 있지만 다른 기술에는 기가바이트가 필요할 수 있습니다. 이러한 모델은 메타버스에서 3D 개체를 캡처하고 생성하는 보다 효율적인 기술을 제공할 것을 약속합니다. Nvidia의 연구 책임자인 Alexander Keller는 NeRF가 결국 디지털 카메라가 현대 사진에 중요한 것처럼 3D 그래픽에 중요할 수 있다고 말했습니다

Masood는 NeRF가 로봇 공학, 도시 매핑, 자율 항법 및 가상 현실 애플리케이션 분야에서 중요한 애플리케이션을 보유하고 있다고 말했습니다. 잠재적인. 그러나 NERF는 여전히 계산 비용이 많이 들고 여러 NERF를 더 큰 장면으로 결합하는 것은 어렵습니다. 오늘날 NeRF의 유일한 실행 가능한 사용 사례는 이미지를 3D 객체 또는 장면으로 변환하는 것입니다. 이러한 한계에도 불구하고 Masood는 NeRF가 노이즈 제거, 흐림 제거, 업샘플링, 압축 및 이미지 편집과 같은 기본 이미지 처리 작업에서 새로운 역할을 찾을 것이라고 예측합니다. 이러한 모델은 진행 중인 작업이며 연구자들은 개별 모델을 개선하고 이를 다른 모델 및 처리 기술과 결합하는 방법을 찾고 있습니다. Lev는 생성 모델이 더욱 일반화되고 애플리케이션이 기존 도메인을 넘어 확장되며 사용자가 AI 모델을 보다 효과적으로 안내하고 작동 방식을 더 잘 이해할 수 있을 것으로 예측합니다.

검색 방법을 사용하여 특정 작업에 최적화된 모델 라이브러리를 호출하는 다중 모드 모델에 대한 작업도 진행 중입니다. 그는 또한 생성 모델이 API 호출 및 외부 도구 사용과 같은 다른 기능을 개발할 수 있기를 바라고 있습니다. 예를 들어 회사의 콜센터 지식을 기반으로 미세 조정된 LLM이 질문에 대한 답변을 제공하고 문제 해결을 수행할 수 있기를 바랍니다. 고객 모뎀을 재설정하거나 문제가 해결되면 이메일을 보내세요.

사실, 미래에는 오늘날의 대중적인 모델 아키텍처를 대체할 수 있는 더 효율적인 것이 있을 수도 있습니다. White는 "새로운 아키텍처가 등장하면 Diffusion 및 Transformer 모델은 더 이상 유용하지 않을 수 있습니다"라고 말했습니다. 자연어 응용 프로그램에 대한 접근 방식이 장기 기억 알고리즘 및 순환 신경에 도움이 되지 않았기 때문입니다. (RNN)

생성 AI 생태계가 3계층 모델로 진화할 것이라고 예측하는 사람들도 있습니다. 기본 계층은 텍스트, 이미지, 음성 및 코드를 기반으로 하는 일련의 기본 모델입니다. 이러한 모델은 대량의 데이터를 수집하고 인간의 판단과 결합된 대규모 딥 러닝 모델을 기반으로 구축됩니다. 다음으로 산업 및 기능별 도메인 모델은 의료, 법률 또는 기타 유형의 데이터 처리를 개선합니다. 최상위 수준에서 기업은 독점 데이터와 주제별 전문 지식을 사용하여 독점 모델을 구축하게 됩니다. 이 세 가지 계층은 팀이 모델을 개발하는 방식을 방해하고 서비스형 모델의 새로운 시대를 열 것입니다.

생성 AI 모델 선택 방법: 주요 고려 사항

Sisense의 Lev에 따르면 모델 간 포함 선택 시 주요 고려 사항 다음: