2023 Fiscal Year Research-status Report
Research on spectral rendering in pursuit of reality
| Project/Area Number |
22K12092
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
金田 和文 広島大学, 先進理工系科学研究科(工), 教授 (30185946)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | コンピュータグラフィックス / スペクトラルレンダリング / スペクトル超解像 / 深層学習 / 光の干渉現象 / 表面粗さ / HDRスペクトル画像 / フォトリアリスティックレンダリング |
|---|
| Outline of Annual Research Achievements |
本研究は，コンピュータグラフィックス（CG）におけるスペクトラルレンダリング普及の障壁となっている課題を解決し，CG生成画像のリアリティを大きくレベルアップすることを目的とする．そのため，まず光源スペクトルやスペクトル反射率などを考慮し効率よくレンダリングを行う手法を開発する．次に，RGB画像から深層学習を用いてスペクトル反射率やスペクトル情報をもつ画像に変換する手法を開発し，反射率やテクスチャなどのスペクトルデータを整備する．これにより，従来用いられてきたRGBレンダリングと同等の手軽さで高いクオリティーの映像を作成することができる手法の開発を目指す．
昨年度に引き続き今年度は主に、(1) 高い波長依存性をもつ光学現象をスペクトルを考慮してレンダリングを行うスペクトラルレンダリング手法の開発ならびに改良を行った．開発した手法は波動光学に基づき，光の干渉現象をリアルに表示することが可能である．さらに改良を行い，物質表面が鏡面のように平らな理想的な状態だけでなく，実際に粗さをもつ表面での光の散乱を考慮して薄膜干渉現象を表示できる手法を開発した．改良手法の大きな特徴は，表面粗さをもつ物体でもエネルギー保存を考慮して光の干渉現象を表現できることである．また，(2) RGB画像を深層学習を用いてHDRスペクトル画像に変換するスペクトル超解像手法の改良を行った．改良手法の特徴はスペクトルを複数の基底関数を用いて表現することにより，深層学習により高精度にスペクトルを再構成することができる．さらに，それらの手法を融合させて，(3) スペクトル画像を環境マップとして用いたイメージベーストライティング手法の拡張を行い，さまざまなシーンにおいてレンダリングを行いその有用性を検証した．その結果，現実に近い光環境で波長依存性の高い光学現象の極めてリアルな表示が可能であることが明らかになった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題では次の3つの手法の開発を行う．(1) スペクトルを考慮してレンダリングを行うスペクトラルレンダリング手法，(2) RGB画像を深層学習を用いてスペクトル画像に変換するスペクトル超解像手法，(3) スペクトラルレンダリングとスペクトル超解像を組み合わせることにより，光学や物理則に基づくリアルな映像を生成することができる手法．
(1)については，物体表面荒さのモデルの改良を行い，表面荒さの変化に対してエネルギー保存則を満たして物理的に正しく，かつリアリティの高い画像を生成できるように手法の改良を行った．さらに，レンダリングの効率化をはかり短時間でリアルな画像生成ができるように，スペクトラルレンダリングの際の波長サンプリングの実験を行い，光源のスペクトルと人の視覚特性の両者を考慮した多重重点的サンプリングを用いることが有効であることが判明した．(2)では，スペクトル超解像手法を高輝度ダイナミックレンジ（HDR）画像にも対応できるように拡張を行い，環境マップに適したスペクトルHDRスペクトル画像を取得できるように改良を行った．改良手法ではスペクトルを複数の基底関数を用いて表現することにより，深層学習により高精度にスペクトルを再構成することができる．さらに，スペクトル超解像を用いた物体のスペクトル反射率の取得についても検討を行った．また，屋外や屋内シーンでのスペクトル画像を追加してスペクトル画像データベースを増強した．(3)では，拡張されたスペクトル超解像手法により得られたHDRスペクトル画像を用いたイメージベーストライティングへ拡張を行い，高輝度ダイナミックレンジ画像を活用したレンダリングを実現した．そして，光学現象に基づいたスペクトラルレンダリングの実用化やアニメーション制作等への利用を目指して，さまざまなシーンにおいてレンダリングを行いその有用性を検証した．
|
| Strategy for Future Research Activity |
本研究課題で開発を進めている3つの手法に関して，(1)ではスペクトラルレンダリングの際，光源のスペクトルと人の視覚特性の両者を考慮した多重重点的サンプリングに基づく波長サンプリング手法のインプリメントを行い，レンダリングの効率化をはかり短時間でリアルな画像生成ができるソフトウェアを開発する．(2)では，高輝度ダイナミックレンジ（HDR）画像にも対応できるように拡張を行ったスペクトル超解像手法を用いて，環境マップに適した各種HDRスペクトル画像を作成する．深層学習を用いたスペクトル超解像では，大量の学習用データセットが必要となるため，屋内外の各種シーンを含むスペクトル画像データベースを整備する．(3)では，HDRスペクトル画像を用いた拡張イメージベーストライティングを用いて，さまざまなシーンのスペクトラルレンダリングを行い，本研究課題で目指した一連の手法の有用性を検証する．そして，光学現象に基づいたスペクトラルレンダリングの実用化やアニメーション制作等への活用へ向けて検討を行う．
|
| Causes of Carryover |
屋内外の各種シーンを含むスペクトル画像データベースが整備段階にあり大容量ファイルサーバの導入を遅らせたため当該年度の所要額と実支出額に差額が生じた.次年度は大容量ファイルサーバを導入し，スペクトル画像データベースを格納するとともに，開発したスペクトラルレンダリングソフトウェアにより作成した画像やアニメーションも格納し，これまでの研究成果をまとめる.
|
| Remarks |
本研究成果によって得られたレンダリング画像が国際ジャーナル (Computer Graphics Forum) の表紙画像に採択された．
|
