지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시-일체 포함-php.cn

지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시

PHPz

풀어 주다： 2024-06-09 21:56:30

원래의

266명이 탐색했습니다.

북항대학교 연구팀은 지구를 '복제'하기 위해 확산 모델을 사용했다고?

전 세계 어디에서나 모델은 다양한 해상도의 원격 감지 이미지를 생성하여 풍부하고 다양한 "병렬 장면"을 만들 수 있습니다.

그리고 지형, 기후, 식생 등과 같은 복잡한 지리적 특징이 모두 고려됩니다.

지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시

베이항대학교 연구팀은 Google 어스에서 영감을 받아 지구 전체의 위성 원격 감지 이미지를 머리 위 관점에서 심층 신경망에 '로드'했습니다.

이러한 네트워크를 기반으로 팀은 글로벌 하향식 비주얼 생성 모델인 MetaEarth를 구축했습니다.

MetaEarth에는 6억 개의 매개변수가 있으며 제한 없이 전 세계 모든 지리적 위치를 포괄하는 다양한 해상도의 원격 감지 이미지를 생성할 수 있습니다.

지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시

글로벌 원격탐사 이미지 생성 모델

이전 연구에 비해 범세계적인 기본 영상 생성 모델을 구축하는 것은 더욱 어렵고 그 과정에서 많은 어려움을 극복했습니다.

지구에는 도시, 숲, 사막, 바다, 빙하, 설원 등 모델을 통해 이해하고 표현해야 하는 다양한 지리적 특징이 있기 때문에 모델 용량이 어렵습니다.

동일한 유형의 인공 지형이라도 위도, 기후, 문화 환경에 따라 큰 차이가 나타나므로 생성된 모델의 용량에 대한 수요가 높습니다.

MetaEarth는 이러한 어려움을 성공적으로 해결하고 다양한 위치와 지형에서 고해상도 및 대규모 장면 생성을 달성했습니다.

지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시

또한 해상도를 제어할 수 있는 원격 감지 이미지를 생성하는 것도 어려운 일입니다.

오버헤드 이미지 이미징 과정에서 지상 지형 특징의 표시는 해상도에 따라 크게 영향을 받기 때문에 다양한 이미지 해상도에서는 뚜렷한 차이가 있습니다. 지정된 해상도(미터/픽셀)에서 정확하게 생성하기는 어렵습니다. 능력. MetaEarth가 다양한 해상도의 이미지를 생성하면 지상 물체의 특징을 정확하고 합리적으로 표현할 수 있으며, 다양한 해상도 간의 상관 관계도 정확하게 매핑됩니다.

지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시 마지막으로 무한한 이미지 생성이라는 과제가 있습니다. 일상의 자연스러운 이미지와는 달리 원격탐사 이미지는 폭이 매우 넓은 특성을 가지며, 측면 길이가 수만 픽셀에 달할 수도 있습니다. 모든 크기의 연속적이고 무한한 이미지를 생성하는 방법.

하지만 MetaEarth가 생성한 연속적인 무한한 장면은 이러한 결함을 피하고 "렌즈"가 번역되면서 이미지가 매우 부드럽게 움직이는 것을 볼 수 있습니다.

지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시 또한 MetaEarth는 강력한 일반화 성능을 갖추고 있으며 알 수 없는 장면을 조건부 입력으로 사용하여 다중 해상도 이미지를 계단식으로 생성할 수 있습니다.

예를 들어, GPT4-V에서 생성된 "판도라 행성"을 모델에 초기 조건으로 입력하면 MetaEarth는 여전히 지상 물체의 합리적인 분포와 사실적인 디테일을 갖춘 이미지를 생성할 수 있습니다.

지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시 하류 미션 검증 결과, MetaEarth는 새로운 데이터 엔진으로서 지구 관측 분야의 다양한 하류 미션에 대한 가상 환경 및 훈련 데이터 지원을 제공할 것으로 기대됩니다.

실험 중 저자는 검증을 위해 원격 감지 이미지 분류라는 기본 작업을 선택했습니다. 결과는 MetaEarth에서 생성된 고품질 이미지의 도움으로 다운스트림 작업의 분류 정확도가 크게 향상되었음을 보여줍니다.

지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시 저자는 메타어스가 위성 등 무인항공시스템 플랫폼에 실감나는 가상환경을 제공할 것으로 기대하며, 도시계획, 환경감시, 재난관리, 농업최적화 등 다양한 분야에서 널리 활용될 것으로 믿고 있다. 데이터 엔진 역할 외에도 MetaEarth는 생성적 세계 모델을 구축하여 향후 연구에 새로운 가능성을 제공하는 데 큰 잠재력을 가지고 있습니다. .