マテリアル界のImageNet、大規模6次元マテリアルリアルショットデータベースOpenSVBRDFリリース｜SIGGRAPH Asia

コンピューテーショナル グラフィックスの分野では、マテリアルの外観は実際のオブジェクトと光の間の複雑な物理的相互作用を表します。これは通常、時間とともに変化する双方向反射分布関数 (Spatially-Varying Bidirectional Reflectance Distribution Function、略称 SVBRDF) として表現できます。空間的な位置です。これはビジュアル コンピューティングの不可欠なコンポーネントであり、文化遺産、電子商取引、ビデオ ゲーム、視覚効果などの分野で広範に応用されています。

過去 20 年間、特にディープラーニングの普及後、学術界や産業界において、高精度かつ多様なデジタルマテリアルの外観に対する需要が高まっています。しかし、技術的な課題により、大規模なデータベースを収集することは依然として非常に困難であり、公開されている材質の外観に関するリアルショット データベースの数は現在非常に限られています。

この目的を達成するために、浙江大学コンピュータ支援設計およびグラフィックス システム国家重点研究室の研究チームと杭州翔新科技有限公司は共同で、平面異方性材料の外観を堅牢かつ高品質かつ効率的にキャプチャする新しい統合システム。このシステムを使用して、研究チームは OpenSVBRDF 公開資料データベース を構築しました。

図 1: OpenSVBRDF データベース内のいくつかのマテリアルが表示されます。各行は同じ材料カテゴリに属します。

これは、合計 1,000 の高品質な平面サンプルと空間分解能を備えた、6 次元 SVBRDF の初の大規模測定データベースです。 1,024×1,024 の

は、10 億を超える測定 BRDF に相当し、木材、布地、金属を含む 9 つのカテゴリをカバーします。

データベース ホームページ: https://opensvbrdf.github.io/

現在、データベースは次のユーザーに公開されています。非商用アプリケーション 完全に無料です。 Webサイト上で基本情報を入力するだけでアカウントを申請でき、審査通過後はGGXテクスチャマップを含む関連データやコードを直接ダウンロードできる。関連する研究論文「OpenSVBRDF: A Database of Measured Spatial-Varying Reflectance」が、コンピュータグラフィックスのトップ国際会議であるACM SIGGRAPH ASIA 2023 (Journal Track)に長文論文として採択されました。

Paper ホームページ: https://svbrdf.github.io/

技術的課題

直接サンプリング法は、照明と視野角のさまざまな組み合わせの下で物理的材料の高密度の測定を行います [Lawrence et al. 2006]。これにより、高品質で堅牢な取得結果が得られますが、非効率的であり、高い時間と保管コストが必要になります。もう 1 つのオプションは、まばらなサンプリング データからマテリアルを再構築できる事前知識ベースの再構築方法です。これにより効率は向上しますが、アプリオリな条件が満たされない場合、その品質は満足のいくものではありません [Nam et al. 2018]。さらに、現在の SOTA 光路多重化技術は高い取得効率と再構成品質を達成していますが、ブラッシュドメタルや研磨ベニヤなどの非常に複雑な材料を扱う場合、アルゴリズムは十分に堅牢ではありません [Kang et al. 2018]。

# 図 2: 既存の資料収集研究の代表的な研究。左から右へ、[Lawrence et al. 2006]、[Nam et al. 2018]、および [Kang et al. 2018] です。その中の [Kang et al. 2018] は、2018 年に ACM SIGGRAPH に掲載されたチームの初期の研究です。

#ハードウェア

素材の外観を効率的にスキャンするには、研究チームは、寸法が約70cm×70cm×40cmの、ほぼ半立方体の近接場照明多重化デバイスを構築しました。サンプルは透明なアクリル板上に置かれ、引き出しスライドを介して素早くスライドさせて出し入れすることで、高いスループットレートを実現します。このデバイスは、2 台のマシン ビジョン カメラと 16,384 個の高輝度 LED で構成されています。2 台のカメラは、約 90 度 (一次視野角) と 45 度 (二次視野角) の角度からサンプルをキャプチャします。LED はデバイスの 6 面に配置されています。 。自社開発の高性能制御回路は各LEDの独立した輝度制御を担い、光源投影とカメラ露光の高精度な同期をハードウェアレベルで実現します。

^{# 3: デバイスの外観と 2 つの視点の写真を収集します。}

#収集と再構成

このシステムは、それを革新的に組み合わせます。ネットワーク予測と微調整に基づく現在の 2 つの一般的な方法の利点を組み合わせたもので、微分可能な照明パターンの最適化によって物理的な収集効率を向上させるだけでなく、微調整によって最終結果の品質をさらに向上させることもできます。プレーナー SVBRDF の初めての高性能、堅牢、高品質、効率的な取得と再構築。

具体的には、物理​​サンプルを再構成するために、研究者らはまず、均一な照明の下で高密度の SIFT 特徴を照合することにより、2 台のカメラ ビュー間の高精度の対応関係を確立しました。物理的な取得の場合、効率的な取得を実現するために、照明パターンがオートエンコーダーの一部として最初に最適化されます。オートエンコーダーは、2 つのビューからの測定に基づいて複雑な外観を再構成する方法を自動的に学習し、結果を中間のニューラル表現として表します。続いて、63 個の同等の線光源下でメインビュー カメラで撮影された写真に基づいて画像誤差をプロットすることで神経表現が微調整され、最終結果の品質と堅牢性が向上しました。システム全体の処理フローを図3に示します。詳細については元の論文を参照してください。

# 図 4: システム全体の収集と再構築のプロセス。

結果

研究者らは、合計を収集して再構築しました。標準の物理ベース レンダリング パイプライン (PBR) の直接使用を容易にするために、この研究では、ニューラル表現を業界標準の異方性 GGX BRDF モデル パラメーターに適合させました。図 5 は、マテリアル再構築結果のサブパラメータ/プロパティを示しています。各サンプルには、193 枚の生の HDR 写真 (合計サイズ 15GB)、中間ニューラル表現 (290MB)、および GGX パラメータを表すテクスチャおよび透明度マップを含む 6 つのマップ (合計サイズ 55MB) が保存されています。ニューラル表現とテクスチャ マップの両方の空間解像度は 1,024×1,024 です。

^#。

再構成結果の正しさを証明するために、研究者らは主な視点からの写真を組み合わせました (下図の最初の行)。と神経表現描画結果（下図2段目）を比較します。定量的誤差 (SSIM/PSNR として表される) がプロットの下部に示されています。以下の図の結果からわかるように、このシステムは高品質のマテリアル再構築 (SSIM>=0.97、PSNR>=34db) を実現しています。

^{図 6: 実際の写真と主視点での神経表現描画結果の比較。}

#視野角領域における再構成結果の一般化をさらに証明するために、研究者らは、 GGX フィッティング パラメータ プロットの結果を比較し、ビュー全体での再構成結果の正確性を検証しました。

^。

研究者らはまた、材料の生成、材料の分類、材料の再構成という 3 つの側面におけるデータベースの応用も実証しました。具体的な詳細については、元の論文を参照してください。

^{図 8: OpenSVBRDF を使用して、マテリアルガンをトレーニングし、マテリアルの生成と補間を実現します。}

# 。

# BRDF 再構成の品質。

Outlook

研究者は既存のデータベースの拡張に取り組みます、多様な外観を示す素材サンプルを追加します。将来的には、材質外観や幾何形状も含めた大規模かつ高精度な測定物体データベースの構築も予定している。さらに、研究者は、OpenSVBRDF に基づいて材料の推定、分類、生成の方向に向けた公開ベンチマークを設計し、客観的かつ定量的な標準テストを通じて関連研究の将来の発展を促進するための強固なデータ保証を提供します。

以上がマテリアル界のImageNet、大規模6次元マテリアルリアルショットデータベースOpenSVBRDFリリース｜SIGGRAPH Asiaの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。