| Project/Area Number |
22K12092
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
金田 和文 広島大学, 先進理工系科学研究科(工), 教授 (30185946)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | コンピュータグラフィックス / スペクトラルレンダリング / スペクトル超解像 / 深層学習 / 光の干渉現象 / 表面粗さ / HDRスペクトル画像 / フォトリアリスティックレンダリング / レンダリング / スペクトル / 波長サンプリング |
|---|
| Outline of Research at the Start |
本研究では，コンピュータグラフィックスにおけるスペクトラルレンダリング普及の障壁となっている課題を解決し，CG生成画像のリアリティを大きくレベルアップする．まず，光源スペクトルやスペクトル反射率などの多重要素を考慮した多重重点的サンプリングにより光の波長を効率よくサンプルしレンダリングを行う手法を開発する．さらに，RGB画像から深層学習を用いてスペクトル反射率やスペクトル情報をもつ画像に変換する手法を開発し，反射率やテクスチャなどに関するスペクトルデータを整備する．これらをベースにして，RGBレンダリングと同等の手軽さで高いクオリティーの映像を作成することができる手法の開発を目指す．
|
| Outline of Annual Research Achievements |
本研究は，コンピュータグラフィックス（CG）におけるスペクトラルレンダリング普及の障壁となっている課題を解決し，CG生成画像のリアリティを大きくレベルアップすることを目的とする．そのため，まず光源スペクトルやスペクトル反射率などを考慮し効率よくレンダリングを行う手法を開発する．次に，RGB画像から深層学習を用いてスペクトル反射率やスペクトル情報をもつ画像に変換する手法を開発し，反射率やテクスチャなどのスペクトルデータを整備する．これにより，従来用いられてきたRGBレンダリングと同等の手軽さで高いクオリティーの映像を作成することができる手法の開発を目指す．
昨年度に引き続き今年度は主に、(1) 高い波長依存性をもつ光学現象をスペクトルを考慮してレンダリングを行うスペクトラルレンダリング手法の開発ならびに改良を行った．開発した手法は波動光学に基づき，光の干渉現象をリアルに表示することが可能である．さらに改良を行い，物質表面が鏡面のように平らな理想的な状態だけでなく，実際に粗さをもつ表面での光の散乱を考慮して薄膜干渉現象を表示できる手法を開発した．改良手法の大きな特徴は，表面粗さをもつ物体でもエネルギー保存を考慮して光の干渉現象を表現できることである．また，(2) RGB画像を深層学習を用いてHDRスペクトル画像に変換するスペクトル超解像手法の改良を行った．改良手法の特徴はスペクトルを複数の基底関数を用いて表現することにより，深層学習により高精度にスペクトルを再構成することができる．さらに，それらの手法を融合させて，(3) スペクトル画像を環境マップとして用いたイメージベーストライティング手法の拡張を行い，さまざまなシーンにおいてレンダリングを行いその有用性を検証した．その結果，現実に近い光環境で波長依存性の高い光学現象の極めてリアルな表示が可能であることが明らかになった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題では次の3つの手法の開発を行う．(1) スペクトルを考慮してレンダリングを行うスペクトラルレンダリング手法，(2) RGB画像を深層学習を用いてスペクトル画像に変換するスペクトル超解像手法，(3) スペクトラルレンダリングとスペクトル超解像を組み合わせることにより，光学や物理則に基づくリアルな映像を生成することができる手法．
(1)については，物体表面荒さのモデルの改良を行い，表面荒さの変化に対してエネルギー保存則を満たして物理的に正しく，かつリアリティの高い画像を生成できるように手法の改良を行った．さらに，レンダリングの効率化をはかり短時間でリアルな画像生成ができるように，スペクトラルレンダリングの際の波長サンプリングの実験を行い，光源のスペクトルと人の視覚特性の両者を考慮した多重重点的サンプリングを用いることが有効であることが判明した．(2)では，スペクトル超解像手法を高輝度ダイナミックレンジ（HDR）画像にも対応できるように拡張を行い，環境マップに適したスペクトルHDRスペクトル画像を取得できるように改良を行った．改良手法ではスペクトルを複数の基底関数を用いて表現することにより，深層学習により高精度にスペクトルを再構成することができる．さらに，スペクトル超解像を用いた物体のスペクトル反射率の取得についても検討を行った．また，屋外や屋内シーンでのスペクトル画像を追加してスペクトル画像データベースを増強した．(3)では，拡張されたスペクトル超解像手法により得られたHDRスペクトル画像を用いたイメージベーストライティングへ拡張を行い，高輝度ダイナミックレンジ画像を活用したレンダリングを実現した．そして，光学現象に基づいたスペクトラルレンダリングの実用化やアニメーション制作等への利用を目指して，さまざまなシーンにおいてレンダリングを行いその有用性を検証した．
|
| Strategy for Future Research Activity |
本研究課題で開発を進めている3つの手法に関して，(1)ではスペクトラルレンダリングの際，光源のスペクトルと人の視覚特性の両者を考慮した多重重点的サンプリングに基づく波長サンプリング手法のインプリメントを行い，レンダリングの効率化をはかり短時間でリアルな画像生成ができるソフトウェアを開発する．(2)では，高輝度ダイナミックレンジ（HDR）画像にも対応できるように拡張を行ったスペクトル超解像手法を用いて，環境マップに適した各種HDRスペクトル画像を作成する．深層学習を用いたスペクトル超解像では，大量の学習用データセットが必要となるため，屋内外の各種シーンを含むスペクトル画像データベースを整備する．(3)では，HDRスペクトル画像を用いた拡張イメージベーストライティングを用いて，さまざまなシーンのスペクトラルレンダリングを行い，本研究課題で目指した一連の手法の有用性を検証する．そして，光学現象に基づいたスペクトラルレンダリングの実用化やアニメーション制作等への活用へ向けて検討を行う．
|
