2022 Fiscal Year Research-status Report
Research on spectral rendering in pursuit of reality
| Project/Area Number |
22K12092
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
金田 和文 広島大学, 先進理工系科学研究科(工), 教授 (30185946)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | コンピュータグラフィックス / スペクトラルレンダリング / スペクトル超解像 / 深層学習 / HDRスペクトル画像 |
|---|
| Outline of Annual Research Achievements |
本研究は，コンピュータグラフィックス（CG）におけるスペクトラルレンダリング普及の障壁となっている課題を解決し，CG生成画像のリアリティを大きくレベルアップすることを目的とする．そのため，まず光源スペクトルやスペクトル反射率などを考慮し効率よくレンダリングを行う手法を開発する．次に，RGB画像から深層学習を用いてスペクトル反射率やスペクトル情報をもつ画像に変換する手法を開発し，反射率やテクスチャなどのスペクトルデータを整備する．これにより，従来用いられてきたRGBレンダリングと同等の手軽さで高いクオリティーの映像を作成することができる手法の開発を目指す．
今年度は主に、(1) 高い波長依存性をもつ光学現象をスペクトルを考慮してレンダリングを行うことができるスペクトラルレンダリング手法の開発を行った．表面に薄膜構造をもつ物体は光の干渉現象により色付いて見える．そして，光源方向や観察方向が変わると表面上の色合いも変化する．開発した手法は波動光学に基づき，このような光学現象をリアルに表示することが可能である．また，(2) RGB画像を深層学習を用いてスペクトル画像に変換するスペクトル超解像手法の開発を行った．開発した手法の特徴は色度と輝度を推定するネットワークに分けて深層学習を行うことにより，高精度にスペクトルを再構成することができる．さらに，それらの手法を融合させて，(3) スペクトル画像を環境マップとして用いたイメージベーストライティング手法の開発を行った．これにより，現実に近い光環境で波長依存性の高い光学現象の極めてリアルな表示が可能となった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題では次の3つの手法の開発を行う．(1) スペクトルを考慮してレンダリングを行うことができるスペクトラルレンダリング手法，(2) RGB画像を深層学習を用いてスペクトル画像に変換するスペクトル超解像手法，(3) スペクトラルレンダリングとスペクトル超解像を組み合わせることにより，光学や物理則に基づくリアルな映像を生成することができる手法，
(1)については，波動光学に基づいて光のシミュレーションを行うことにより表面に薄膜構造をもつ物体をリアルに表示することができるスペクトラルレンダリング手法を開発した．薄膜構造を変えたり表面荒さを変化させて表示を行い，手法の有用性を検証した．さらに人の多様な視覚特性に応じて，色彩がどのように見えるかをスペクトルを考慮してシミュレーションする手法の開発も試みた．そして，スペクトラルレンダリングの応用範囲をさらに拡げる可能性について検討した．
(2)については，画像を色度成分と輝度成分に分けて，それぞれ別のネットワークを用いて深層学習を行うことにより，RGB画像から精度よくスペクトル画像に変換することができるスペクトル超解像手法を開発した．さらに，複数の基底関数を用いてスペクトルを表現することにより精度向上をはかるように改良を行った．ハイパースペクトルカメラを用いて深層学習のためのデータセットの作成も行った．
(3)については，スペクトル画像を環境マップとして用いたイメージベーストライティング手法を組み込むことにより，(1)のスペクトラルレンダリング手法の拡張を行った．これにより，従来のRGBレンダリングや拡張前のスペクトラルレンダリングでは実現できなかったシーン，すなわち現実に近い光環境での波長依存性の高い光学現象の極めてリアルな表示が可能となった．
|
| Strategy for Future Research Activity |
本研究課題で開発を進めている3つの手法に関して，(1)ではスペクトラルレンダリングの際の波長サンプリング手法の改良を行い，レンダリングの効率化をはかり短時間でリアルな画像生成ができるようにする．さらに，物体表面荒さのモデルの改良を行い，表面荒さの変化に対してさらにリアリティの高い画像を生成できるようにする．(2)では，スペクトル超解像手法を高輝度ダイナミックレンジ（HDR）画像にも対応できるように拡張を行い，環境マップに適したスペクトルHDRスペクトル画像を取得できるようにする．さらに，スペクトル超解像を用いた物体のスペクトル反射率の取得についても検討する．深層学習を用いたスペクトル超解像では，大量の学習用データセットが必要となるため，スペクトル画像を追加撮影してスペクトル画像データベースを増強する．(3)では，拡張されたスペクトル超解像手法により得られたHDRスペクトル画像を用いたイメージベーストライティングへ拡張を行い，高輝度ダイナミックレンジ画像を活用したレンダリングを実現する．そして，光学現象に基づいたスペクトラルレンダリングの実用化やアニメーション制作等への利用へ向けて検討を行う．
|
| Causes of Carryover |
高性能計算サーバと大容量ファイルサーバの導入を納期等の関係から1年遅らせたため当該年度の所要額と実支出額に差額が生じた．次年度には高性能計算サーバと大容量ファイルサーバを導入し効率的に研究を推進する．
|
