AI가 감정을 매핑할 수 있나요? DALL-E가 추상화를 표현하는 방법 보기

2022년 인공지능 발전 트렌드는 무엇일까요?

"멀티모달 AI", 특히 텍스트-이미지 생성 도구의 등장을 꼭 언급하세요.

DALL-E부터 Imagen, Parti, Nuwa 등에 이르기까지 모두 놀라운 고품질 이미지를 생성할 수 있습니다.

가장 대표적인 예가 OpenAI의 Dall-E2입니다.

Dall-E가 출시된 이후 우주에서 말을 타고 있는 우주 비행사 등 그림 스타일의 그림이 많이 생성되는 것을 보셨을 것입니다.

그러나 Dall-E를 통해 추상적인 개념을 표현한 이미지는 거의 없습니다.

아니요, 기계 학습 과학자 Gabriele Sgroi가 DALL-E가 이 작업을 완료하는 방법을 알아보기 위해 왔습니다.

그는 슬픔, 사랑, 분노, 행복, 정의, 불의 등을 주제로 오일 파스텔과 그림 스타일을 테스트했습니다.

오일 파스텔 스타일

슬픔

Angry

행복

사랑

그림 스타일

Sad

Love

화가

행복

감상할 다른 추상적 개념의 그림도 있습니다: 정의와 불의

Justice

Injustice

가브리엘레 스그로이(Gabriele Sgroi)는 감정적인 이미지를 사람들의 얼굴 표정으로 제한하는 것보다 그림이 더 통찰력이 있을 수 있다고 믿습니다.

이 기사의 모든 이미지(표지 이미지 포함)는 주어진 프롬프트에서 1세대가 제공한 모든 이미지를 선택하여 DALL-E를 사용하여 생성되었습니다.

이 예에서 볼 수 있듯이 DALL-E는 일반적으로 그림 스타일에서 더 추상적이고 복잡한 그림을 보여 주지만 주어진 감정이 항상 명확하게 식별되는 것은 아닙니다.

그 중 정의를 표현하는 그림은 대부분 그리스 여신을 묘사하고 있는데, 불의를 표현하는 이미지는 정말 혼란스럽습니다.

전반적으로 Sgroi는 선택한 스타일에 따라 결과가 크게 좌우된다는 점을 관찰했습니다.

그리고 대부분의 경우 DALL-E는 생성된 그림에 감정의 이름을 적어줍니다.

전반적으로 DALL-E는 테스트된 감정에 대한 이해 수준을 보여 주었고, 감정을 얼굴 표정 및 일반적으로 감정과 관련된 색상 또는 기호와 올바르게 연결했습니다.

Sgroi는 스타일에 따른 동일한 감정 표현의 차이를 더 조사하고 긍정적인 감정과 부정적인 감정 사이에서 관찰된 편견이 다른 사례에서도 지속되는지 조사하는 것이 흥미로울 것이라고 말했습니다.

DALL-E는 실패했나요?

아이러니하게도 DALL-E 2는 이미지를 생성하는 데 사용되는 텍스트 프롬프트를 잘 이해한다고 주장합니다.

그러나 일부 네티즌들은 현재 텍스트를 이해할 수 없는 경우 생성된 이미지에 텍스트 내용이 배치된다는 사실을 발견했습니다.

예술가 르네 마그리트(Rene Magritte)의 그림 "이것은 파이프가 아닙니다"와 같은 작품입니다.

또한 인공지능인 Janelle Shane은 DALL-E 2에게 회사 로고를 생성해 달라고 요청했지만 사진 중 단어 철자를 정확하게 쓴 사진이 하나도 없었습니다.

와플 하우스 생성 예시

또한 DALL-E 2가 몇 가지 과학 법칙을 알고 있다고 말할 수도 있습니다.

떨어지는 물체나 우주에 떠 있는 우주비행사를 쉽게 묘사할 수 있으니까요.

그러나 해부학, X선 이미지, 수학적 증거 또는 청사진을 생성하려는 경우 결과 이미지가 표면적으로는 정확하지만 근본적으로 잘못될 수 있습니다.

예를 들어 축척에 맞게 그려진 태양계 그림에서는 왼쪽 하단에 지구의 모양이 있고 그 안에 수란처럼 보이는 물체가 있어서 엉망이라고 할 수 있습니다. 왼쪽 상단 모서리.

OpenAI 연구원 Aditya Ramesh는 의미를 이해하지 못한 채 시각적으로 유사한 것을 만들려고 한다고 설명합니다.

그래서 DALL-E 2는 과학이 무엇인지 모르고 텍스트를 읽고 그림을 그리는 방법만 알고 있습니다.

그리고 DALL-E 2가 캐릭터 얼굴을 생성하면 너무 생생해서 거의 믿을 수 없을 정도입니다.

훈련 중에 OpenAI는 인터넷에 자주 등장하는 얼굴을 기억하지 못하도록 딥페이크 보호 조치를 도입했습니다.

업로드된 이미지에 실제 얼굴이 포함되어 있으면(알 수 없는 사람이라도) 시스템에서 콘텐츠 생성을 거부합니다.

그러나 또 다른 문제가 발생합니다. OpenAI는 시스템이 단일 초점의 이미지에 최적화되어 있다고 밝혔습니다.

예를 들어 "지구를 응시하는 우주 비행사의 얼굴"을 생성합니다. 그리움 표현" 이런 세밀한 초상화 생성은 여전히 ​​매우 성공적입니다.

하지만 DALL-E가 동시에 여러 사람의 이미지를 생성하라는 요청을 받았을 때 바로 충돌이 발생했습니다. 따라서 단체 사진과 군중 장면을 생성하는 데는 정말 나쁩니다.

또한 DALL-E는 편향된 이미지도 생성합니다.

현재 OpenAI팀은 머신러닝을 통해 편견을 바로잡기 시작했습니다.

예를 들어 DALL-E 2의 훈련 중에 연구원들은 훈련 방법을 조정하고 여성 이미지의 가중치를 높여 여성 이미지가 생성될 가능성을 높였습니다.

DALL-E는 앞으로 더 많은 놀라움을 선사할 것입니다.

위 내용은 AI가 감정을 매핑할 수 있나요? DALL-E가 추상화를 표현하는 방법 보기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!