기술 주변기기 일체 포함 3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

Jun 10, 2024 am 11:17 AM
프로젝트 스펙트럼 가지치기 가우스 필드 SUNDAE

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com


이 논문의 저자에는 Imperial College London의 석사 과정 학생인 Yang Runyi와 Beihang의 석사 과정 2년차 학생인 Zhu Zhenxin이 포함됩니다. 북경공업대학 석사 2년생 주진신(Zhu Zhenxin), 베이징이공대학 학부 4년생 예바이준(周百君), 중국대학 학부 3년생 장이페이(張伯隆) 과학원 Zhao Jian 차이나 텔레콤 인공 지능 연구소 멀티미디어 인지 학습 연구소(EVOL Lab) 소장, 칭화대학교 지능형 산업 연구소(AIR) 조교수 Zhao Hao 외.

최근에는 새로운 3차원 표현 방식인 3D GS(3D Gaussian Splatting)가 빠른 렌더링 속도와 높은 렌더링 품질로 주목받고 있습니다. 그러나 이 접근 방식에는 메모리 소비도 높습니다. 예를 들어 훈련된 가우스 필드는 300만 개 이상의 가우스 프리미티브와 700MB 이상의 메모리를 사용할 수 있습니다.

최근 Imperial College London, Beihang University, Beijing Institute of Technology, University of Chinese Academy of Sciences, China Telecom 인공 지능 연구소 멀티미디어 인지 학습 연구소(EVOL Lab), 칭화 대학교 지능형 산업 연구소(AIR) 및 기타 기관 연구진은 "SUNDAE: Spectrally Pruned Gaussian Fields with Neural Compensation"이라는 논문을 공동으로 발표했습니다. 우리는 이러한 높은 메모리 사용량이 원시 요소 간의 관계를 고려하지 못했기 때문이라고 믿습니다. 논문에서 우리는 스펙트럼 가지치기와 신경 보상을 사용하여 SUNDAE라는
메모리 효율적인 가우스 필드를 제안합니다
.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

    기사 링크: https://arxiv.org/abs/2405.00676
  • 프로젝트 홈페이지: https://runyiyang.github.io/projects/SUNDAE/

一한편으로는 가우시안 프리미티브의 공간 정보를 기반으로 그래프를 구성하여 이들 간의 관계를 시뮬레이션하고, 그래프 신호 처리를 기반으로 다운샘플링 모듈을 설계하여 원하는 신호를 유지하면서 정리합니다. 반면, 가지치기로 인한 품질 저하를 보상하기 위해 경량 신경망을 활용하여 렌더링 기능을 혼합하여 가중치에서 프리미티브 간의 관계를 캡처하는 동시에 품질 저하를 효과적으로 보상합니다.

폭넓은 결과물로 SUNDAE의 퍼포먼스를 선보입니다. 예를 들어, Mip-NeRF360 데이터 세트에서 SUNDAE는 104MB 메모리를 사용하여 26.80 PSNR 및 145 FPS를 달성할 수 있는 반면, 표준 3D Gaussian Splatting 알고리즘은 523MB 메모리를 사용하여 25.60 PSNR 및 160 FPS를 달성합니다.


동시에 SUNDAE는 오픈소스 이후 국제적으로 폭넓은 관심을 받았으며, 유명한 NeRF 커뮤니티 MrNeRF, AI 연구 커뮤니티 유지관리자 Ahsen Khaliq 및 관련 분야의 많은 연구자들이 포워딩하고 팔로우하고 있습니다. ㅋㅋㅋ Gaussian 원시 장면 세트로 표현됩니다. 프리미티브가 3차원 공간에 불규칙하게 분포되어 있기 때문에 그리드와 같은 기존 구조를 사용하는 대신 프리미티브 간의 관계를 캡처하는 그래프 기반 방법을 제안합니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.구체적으로 그래프 신호 처리 이론을 이용하여 그래프 신호를 기반으로 특정 스펙트럼 정보를 유지할 수 있는 최적의 샘플링 전략을 도출합니다. 스펙트럼 대역폭을 제어함으로써 가지치기 비율을 유연하게 제어하고 가우스 프리미티브 간의 관계를 모델링할 수 있습니다. 그림 1(c)에 표시된 것처럼 렌더링 품질을 저하시키지 않고 가우스 프리미티브의 90% 잘라내기를 제어할 수 있습니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

그림 1: (a) 3DGS 7k 반복 결과, (b) 3DGS 30k 반복 결과, 3차원 장면을 표현하는 데 더 많은 가우시안 프리미티브가 사용되므로 품질은 높아지고 속도는 느려집니다. (c) 가우스 프리미티브의 90%가 정리되어 저장 공간이 크게 줄어들지만 유사한 렌더링 효과를 얻습니다.

가우스 프리미티브의 중심을 그래프의 신호 입력으로 사용하고, 가우스 프리미티브 사이의 거리를 그래프의 가장자리로 사용하여 그래프의 인접 행렬을

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

로 표현할 수 있습니다. 여기서 3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.는 가우스 요소의 중심점이고, 3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.는 임계값 슈퍼 매개변수 이고, 3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.는 거리 행렬의 분산입니다. 즉, 두 가우스 프리미티브 사이의 거리가 임계값보다 작으면 둘 사이에 그래프 가장자리를 설정합니다. 그래프의 인접 행렬을 설정한 후 Haar-like 필터에 따라 그래프의 신호를 처리하여 특정 주파수 대역의 그래프 신호를 얻을 수 있습니다. 마지막으로, 원하는 주파수 대역 신호를 기반으로 가지치기를 수행합니다. 이 기사에서는 물체의 세부 사항을 나타내는 고주파 신호와 배경 지점의 저주파 신호를 유지하기 위해 대역 저지 필터를 사용합니다.

1.2 신경 보상 메커니즘

스펙트럼 프루닝 후에 너무 많은 가우시안 프리미티브가 삭제되므로 렌더링 품질이 필연적으로 저하됩니다. 이를 해결하기 위해 신경망을 사용합니다. 그림 2와 같이 품질 손실이 발생합니다.

Gaussian Splatting에서 Feature Splatting으로 변환하여 경량 컨볼루션 신경망을 도입하여 이미지의 RGB 값에 매핑된 Gaussian 프리미티브를 출력함으로써 다양한 프리미티브의 정보를 융합했습니다. 이를 통해 보상 네트워크의 가중치가 2차원 이미지 공간에서 기본 요소 간의 관계를 간접적으로 캡처할 수 있습니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

그림 2: 왼쪽에 표시된 원본 3DGS는 프리미티브 간의 관계를 캡처하지 않기 때문에 많은 양의 저장 공간이 필요합니다. 중간은 가우시안 프리미티브 관계를 모델링하는 스펙트럼 가지치기 전략을 보여줍니다. 렌더링을 개선하기 위해 2D 기능을 사용한 신경 보상을 보여줍니다.

구체적으로는 3DGS처럼 RGB 이미지를 직접 렌더링하는 대신 투영된 3D 가우시안의 특징을 2차원 특징 맵으로 변환하는 3D 가우시안용 미분 래스터라이저를 통해 특징 맵을 얻습니다.

그런 다음 경량 신경망을 활용하여 프리미티브 간의 관계를 모델링하고 스펙트럼 가지치기 후 품질 저하를 보상합니다. 이 네트워크는 다양한 프리미티브의 정보를 집계하는 건너뛰기 연결 기능을 갖춘 4계층 완전 컨벌루션 U-Net으로 구성됩니다. 다운샘플링에는 평균 풀링을 사용하고 이미지 업샘플링에는 이중선형 보간을 사용합니다. 네트워크는 래스터화된 특징 맵을 입력으로 사용하고 RGB 이미지를 출력합니다.

SUNDAE의 전체 프레임워크는 아래 그림 3과 같습니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

그림 3: (a) 파이프라인: 사전 훈련된 3D 가우스 필드의 경우 그래프 기반 가지치기 전략을 사용하여 가우스 요소를 다운샘플링하고 컨벌루션 신경망을 사용하여 가지치기로 인한 손실을 보상합니다. (b) 그래프 기반 가지치기(Graph-based pruning): 가우시안 프리미티브 간의 공간적 관계에 기반한 그래프를 가지치기에 사용합니다. 대역 저지 필터를 사용하면 이 프로세스를 통해 고주파 성분에서 세부 정보를 추출하는 동시에 저주파 부분의 일반적인 특징을 포착하여 전체 장면을 포괄적이고 효율적으로 표현할 수 있습니다.

1.3 연속 가지치기 전략

또한 가우시안 필드의 완전히 조밀한 가지치기 프리미티브에서 시작하는 훈련 후 가지치기와는 달리 피크 저장을 줄이기 위한 연속 가지치기 전략도 제안합니다. , 연속 가지치기에는 학습 프로세스 전반에 걸쳐 사전 정의된 간격으로 일정한 간격으로 특정 수 또는 비율의 프리미티브를 제거하는 작업이 포함됩니다. 이 접근 방식은 3D 가우스 필드를 훈련할 때 최대 프리미티브 수를 지속적으로 제어하여 훈련 중에 최대 메모리 요구 사항을 줄이고 GPU 메모리가 낮은 GPU 장치에서 훈련을 허용하는 것을 목표로 합니다.

경험에 따르면 피크 메모리가 낮을수록 최종 메모리 공간 제어가 약해지는 이점이 있습니다. 예를 들어, 2000번의 반복마다 기본 요소의 20%를 잘라내면 3D 가우스 필드의 최종 수렴 상태가 예상된 20% 감소에서 벗어날 수 있습니다.

또한 이러한 변형은 시나리오에 따라 달라질 수 있으므로 가지치기 효과의 예측 가능성과 일관성이 더욱 복잡해집니다. 따라서 우리는 필요할 경우 대안으로 지속적인 가지치기 전략을 고려합니다.

2. 실험 결과

2.1 정량적 결과

SUNDAE를 최신 3DGS 및 NeRF 알고리즘과 비교했습니다. , 우리 모델 유사 결과는 메모리의 10%만 사용하여 얻을 수 있으며 메모리의 30% 또는 50%를 사용하여 원래 3DGS를 초과할 수 있습니다. 그리고 FPS 측면에서 다른 NeRF 관련 알고리즘을 훨씬 능가합니다.

이것은 우리 모델이 가우시안 프리미티브 간의 관계를 더 잘 포착하고 더 적은 수의 가우시안 프리미티브를 사용하여 3차원 장면을 효율적으로 표현할 수 있기 때문입니다.
3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.
2.2 정성 결과

정성 결과에서 볼 수 있듯이 SUNDAE의 정성 결과를 3DGS 및 InstantNGP와 1% 및 10% 샘플링 비율로 비교합니다.

정성적 결과에 따르면 SUNDAE는 메모리 소비를 10% 또는 심지어 1%만 사용하면서 유사한 새로운 관점 합성 품질을 달성할 수 있는 것으로 나타났습니다. 그래프는 기본 요소 간의 관계를 성공적으로 구축하는 동시에 신경 보상 헤드는 렌더링 품질을 효과적으로 유지합니다. 그리고 그림 5의 네 번째와 마지막 행에서 볼 수 있듯이 스펙트럼 프루닝은 카메라 가까이에 떠 있는 물체를 제거할 수 있습니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

2.3 절제 실험

2.3.1 대역저지 필터

대역저지 필터의 비율은 매개변수로 표시됩니다. 구체적으로 그래프 기반 가지치기 과정에서 특정 비율()의 고역 통과와 나머지(1-) 저역 통과를 포함하여 여러 기본 요소를 샘플링합니다.

결과에 따르면 이 매개변수는 렌더링 품질에 큰 영향을 미치며 50% 비율이 최상의 결과를 제공하는 반면 저주파 또는 고주파 신호를 불균형하게 강조하면 품질이 저하됩니다. 비율 50% 균형 잡힌 고주파 디테일과 저주파 배경을 유지하므로 효과가 더 좋습니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

2.3.2 보상 네트워크

그림 6과 표 2에서 볼 수 있듯이 보상 네트워크의 중요성을 질적, 양적으로 보여줍니다. 표 2에서 볼 수 있듯이 신경 보상을 사용한 경우 모든 샘플링 속도에서 사용하지 않은 경우에 비해 향상된 성능을 보여줍니다. 이는 그림 6에 제시된 시각화 결과를 통해 더욱 뒷받침되며, 스펙트럼 프루닝으로 인한 성능 저하를 보상하는 모듈의 기능을 보여줍니다. 동시에 원초적인 관계를 잘 포착하고 있음도 입증됐다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

표 3에서 볼 수 있듯이 다양한 크기의 보상 네트워크를 시도했지만 네트워크 크기를 늘린다고 반드시 렌더링 품질이 향상되는 것은 아니며 이는 ADOP의 결과와 일치하여 비슷한 경향을 나타냅니다. 품질과 메모리의 최적 균형을 위해 30MB의 4계층 UNet을 기본 설정으로 사용합니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

2.3.3 더 많은 샘플링 포인트

위의 표 1에서 볼 수 있듯이 원본 3DGS보다 기본 요소를 50% 유지하는 것이 렌더링 품질 측면에서 더 좋습니다. 또한 표 4에 표시된 것처럼 샘플링 속도가 최종 결과에 어떤 영향을 미치는지 조사하기 위해 80% 유지 및 모든 기본 요소 유지를 추가로 테스트했습니다.

결과에 따르면 기본 요소를 80% 유지하면 렌더링 품질이 향상되어 LPIPS 측면에서는 개선이 나타났지만 PSNR 및 SSIM에서는 시각적으로 약간 개선되었습니다. 모든 기본 요소를 유지하고 더 많은 시대에 대한 교육을 수행해도 품질이 더 이상 향상되지 않으며 이는 기본 관계 모델링의 중요성도 보여줍니다. 효과적인 관계형 모델링이 없으면 기본 요소가 많아지면 모델 수렴이 어려워지고 기본 요소 수가 많아지면 장면 표현에 부정적인 영향을 미칩니다.

또한 우리의 목표는 렌더링 품질과 저장 효율성의 균형을 맞추는 것이었지만, 기본 요소의 80%를 유지하기 위해 저장 공간을 620MB로 늘리면 품질이 약간 향상되어 저장 효율성이 떨어집니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

2.3.4 연속 샘플링 전략

MipNeRF360 데이터 세트의 자전거 및 카운터 시나리오에서 연속 샘플링 전략을 테스트하여 다양한 가지치기 간격 반복 및 가지치기 속도를 설정했습니다. Table 5에서 볼 수 있듯이 Points는 학습 후의 프리미티브 개수이고, Ratio는 원본 3DGS에 대한 트레이닝 후의 프리미티브 개수의 대략적인 비율이다.

결과에 따르면 이 전략은 최대 메모리를 줄일 수 있지만 최종 메모리(포인트 및 비율에 반영됨)를 제어하기가 어렵습니다. 따라서 우리는 훈련 후 가지치기 전략을 검증했지만 여전히 오픈 소스 도구 상자에서 대안으로 지속적인 가지치기 전략을 제공합니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

2.3.5 효율성 평가

훈련 시간, CUDA 메모리, 렌더링 프레임 속도 및 ROM 저장에 대한 자세한 내용은 표 6을 참조하세요. “Ours-50%” 버전은 허용 가능한 훈련 시간(1.41시간) 내에 최고의 렌더링 품질을 달성하는 동시에 실시간 렌더링을 달성하고 훈련 중 CUDA 메모리 사용량과 ROM 저장 공간을 크게 줄인다는 점은 주목할 가치가 있습니다.

3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.

3. 결론

이 연구에서는 그래프 신호 처리를 도입하여 가우스 기반을 모델링하기 위해 신경 보상을 갖춘 새로운 스펙트럼 가지치기 가우시안 필드 SUNDAE를 제안했습니다. 가지치기로 인한 정보 손실을 보상하기 위한 다양한 프리미티브.

가우시안 프리미티브 간의 공간 정보를 사용하여 그래프를 작성하여 관계를 모델링하고 스펙트럼 정보를 기반으로 정리하여 중복 프리미티브를 제거합니다. 가지치기 후에 불가피하게 발생하는 렌더링 품질의 손실을 보상하기 위해 경량 신경망이 사용됩니다.

실험 결과 SUNDAE는 3DGS의 효율성을 유지하면서 메모리를 크게 줄이고 효율성을 향상시키며 고품질 렌더링 품질을 유지하는 것으로 나타났습니다.

위 내용은 3D Gaussian Splatting 알고리즘에 작별 인사를 하세요. 신경 보상 기능을 갖춘 스펙트럼 가지치기 Gaussian field SUNDAE는 오픈 소스입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

RLHF에서 DPO, TDPO까지 대규모 모델 정렬 알고리즘은 이미 '토큰 수준'입니다. RLHF에서 DPO, TDPO까지 대규모 모델 정렬 알고리즘은 이미 '토큰 수준'입니다. Jun 24, 2024 pm 03:04 PM

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 인공 지능 개발 과정에서 LLM(대형 언어 모델)의 제어 및 안내는 항상 핵심 과제 중 하나였으며 이러한 모델이 두 가지 모두를 보장하는 것을 목표로 했습니다. 강력하고 안전하게 인간 사회에 봉사합니다. 인간 피드백(RL)을 통한 강화 학습 방법에 초점을 맞춘 초기 노력

ControlNet의 저자가 또 다른 히트를 쳤습니다! 이틀 만에 14,000개의 별을 획득하여 그림에서 그림을 생성하는 전체 과정 ControlNet의 저자가 또 다른 히트를 쳤습니다! 이틀 만에 14,000개의 별을 획득하여 그림에서 그림을 생성하는 전체 과정 Jul 17, 2024 am 01:56 AM

역시 Tusheng 영상이지만 PaintsUndo는 다른 경로를 택했습니다. ControlNet 작성자 LvminZhang이 다시 살기 시작했습니다! 이번에는 회화 분야를 목표로 삼고 있습니다. 새로운 프로젝트인 PaintsUndo는 출시된 지 얼마 되지 않아 1.4kstar(여전히 상승세)를 받았습니다. 프로젝트 주소: https://github.com/lllyasviel/Paints-UNDO 이 프로젝트를 통해 사용자는 정적 이미지를 입력하고 PaintsUndo는 자동으로 라인 초안부터 완성품 따라가기까지 전체 페인팅 과정의 비디오를 생성하도록 도와줍니다. . 그리는 과정에서 선의 변화가 놀랍습니다. 최종 영상 결과는 원본 이미지와 매우 유사합니다. 완성된 그림을 살펴보겠습니다.

OpenAI Super Alignment Team의 사후 작업: 두 개의 대형 모델이 게임을 하고 출력이 더 이해하기 쉬워졌습니다. OpenAI Super Alignment Team의 사후 작업: 두 개의 대형 모델이 게임을 하고 출력이 더 이해하기 쉬워졌습니다. Jul 19, 2024 am 01:29 AM

AI 모델이 내놓은 답변이 전혀 이해하기 어렵다면 감히 사용해 보시겠습니까? 기계 학습 시스템이 더 중요한 영역에서 사용됨에 따라 우리가 그 결과를 신뢰할 수 있는 이유와 신뢰할 수 없는 경우를 보여주는 것이 점점 더 중요해지고 있습니다. 복잡한 시스템의 출력에 대한 신뢰를 얻는 한 가지 가능한 방법은 시스템이 인간이나 다른 신뢰할 수 있는 시스템이 읽을 수 있는 출력 해석을 생성하도록 요구하는 것입니다. 즉, 가능한 오류가 발생할 수 있는 지점까지 완전히 이해할 수 있습니다. 설립하다. 예를 들어, 사법 시스템에 대한 신뢰를 구축하기 위해 우리는 법원이 자신의 결정을 설명하고 뒷받침하는 명확하고 읽기 쉬운 서면 의견을 제공하도록 요구합니다. 대규모 언어 모델의 경우 유사한 접근 방식을 채택할 수도 있습니다. 그러나 이 접근 방식을 사용할 때는 언어 모델이 다음을 생성하는지 확인하세요.

오픈 소스 AI 소프트웨어 엔지니어 목록의 1위인 UIUC의 에이전트 없는 솔루션은 SWE 벤치의 실제 프로그래밍 문제를 쉽게 해결합니다. 오픈 소스 AI 소프트웨어 엔지니어 목록의 1위인 UIUC의 에이전트 없는 솔루션은 SWE 벤치의 실제 프로그래밍 문제를 쉽게 해결합니다. Jul 17, 2024 pm 10:02 PM

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 이 논문의 저자는 모두 일리노이 대학교 Urbana-Champaign(UIUC)의 Zhang Lingming 교사 팀 출신입니다. Steven Code Repair, 박사 4년차, 연구원

리만 가설의 중요한 돌파구! 타오저쉬안(Tao Zhexuan)은 MIT와 옥스퍼드의 새로운 논문을 적극 추천했으며, 37세의 필즈상 수상자도 참여했다. 리만 가설의 중요한 돌파구! 타오저쉬안(Tao Zhexuan)은 MIT와 옥스퍼드의 새로운 논문을 적극 추천했으며, 37세의 필즈상 수상자도 참여했다. Aug 05, 2024 pm 03:32 PM

최근 새천년 7대 과제 중 하나로 알려진 리만 가설이 새로운 돌파구를 마련했다. 리만 가설은 소수 분포의 정확한 특성과 관련된 수학에서 매우 중요한 미해결 문제입니다(소수는 1과 자기 자신으로만 나눌 수 있는 숫자이며 정수 이론에서 근본적인 역할을 합니다). 오늘날의 수학 문헌에는 리만 가설(또는 일반화된 형식)의 확립에 기초한 수학적 명제가 천 개가 넘습니다. 즉, 리만 가설과 그 일반화된 형식이 입증되면 천 개가 넘는 명제가 정리로 확립되어 수학 분야에 지대한 영향을 미칠 것이며, 리만 가설이 틀린 것으로 입증된다면, 이러한 제안의 일부도 그 효과를 잃을 것입니다. MIT 수학 교수 Larry Guth와 Oxford University의 새로운 돌파구

무제한 비디오 생성, 계획 및 의사결정, 다음 토큰 예측의 확산 강제 통합 및 전체 시퀀스 확산 무제한 비디오 생성, 계획 및 의사결정, 다음 토큰 예측의 확산 강제 통합 및 전체 시퀀스 확산 Jul 23, 2024 pm 02:05 PM

현재 차세대 토큰 예측 패러다임을 사용하는 자동회귀 대규모 언어 모델은 전 세계적으로 인기를 얻고 있으며 동시에 인터넷의 수많은 합성 이미지와 비디오는 이미 확산 모델의 힘을 보여주었습니다. 최근 MITCSAIL 연구팀(그 중 한 명은 MIT 박사 과정 학생인 Chen Boyyuan)이 전체 시퀀스 확산 모델과 차세대 토큰 모델의 강력한 기능을 성공적으로 통합하고 훈련 및 샘플링 패러다임인 확산 강제(DF)를 제안했습니다. ). 논문 제목: DiffusionForcing:Next-tokenPredictionMeetsFull-SequenceDiffusion 논문 주소: https:/

arXiv 논문은 '연발'로 게시될 수 있습니다. Stanford alphaXiv 토론 플랫폼은 온라인이며 LeCun은 이를 좋아합니다. arXiv 논문은 '연발'로 게시될 수 있습니다. Stanford alphaXiv 토론 플랫폼은 온라인이며 LeCun은 이를 좋아합니다. Aug 01, 2024 pm 05:18 PM

건배! 종이 토론이 말로만 진행된다면 어떤가요? 최근 스탠포드 대학교 학생들은 arXiv 논문에 대한 질문과 의견을 직접 게시할 수 있는 arXiv 논문에 대한 공개 토론 포럼인 alphaXiv를 만들었습니다. 웹사이트 링크: https://alphaxiv.org/ 실제로 이 웹사이트를 특별히 방문할 필요는 없습니다. URL에서 arXiv를 alphaXiv로 변경하면 alphaXiv 포럼에서 해당 논문을 바로 열 수 있습니다. 논문, 문장: 오른쪽 토론 영역에서 사용자는 저자에게 논문의 아이디어와 세부 사항에 대해 질문하는 질문을 게시할 수 있습니다. 예를 들어 다음과 같이 논문 내용에 대해 의견을 제시할 수도 있습니다.

Axiom 교육을 통해 LLM은 인과 추론을 학습할 수 있습니다. 6,700만 개의 매개변수 모델은 1조 매개변수 수준 GPT-4와 비슷합니다. Axiom 교육을 통해 LLM은 인과 추론을 학습할 수 있습니다. 6,700만 개의 매개변수 모델은 1조 매개변수 수준 GPT-4와 비슷합니다. Jul 17, 2024 am 10:14 AM

LLM에 인과관계 사슬을 보여주면 공리를 학습합니다. AI는 이미 수학자 및 과학자의 연구 수행을 돕고 있습니다. 예를 들어, 유명한 수학자 Terence Tao는 GPT와 같은 AI 도구의 도움을 받아 자신의 연구 및 탐색 경험을 반복적으로 공유했습니다. AI가 이러한 분야에서 경쟁하려면 강력하고 신뢰할 수 있는 인과관계 추론 능력이 필수적입니다. 본 논문에서 소개할 연구에서는 작은 그래프의 인과 전이성 공리 시연을 위해 훈련된 Transformer 모델이 큰 그래프의 전이 공리로 일반화될 수 있음을 발견했습니다. 즉, Transformer가 단순한 인과 추론을 수행하는 방법을 학습하면 보다 복잡한 인과 추론에 사용될 수 있습니다. 팀이 제안하는 공리적 훈련 프레임워크는 시연만으로 패시브 데이터를 기반으로 인과 추론을 학습하는 새로운 패러다임입니다.

See all articles