2022 Fiscal Year Research-status Report
| Project/Area Number |
22K12088
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
小室 孝 埼玉大学, 理工学研究科, 教授 (10345118)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 質感再現 / 任意視点画像 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本年度は、質感再現に向けての第一歩として、鏡面反射を伴う金属物体の視点補間を試みた。画像変換によく用いられる深層ニューラルネットワークであるU-Netを改良し、四隅での撮影画像と視点座標を入力とし、任意の視点位置における画像を出力するようにした。CGを用いた実験により、金属物体の反射が提案手法により再現できることを確認した。本研究成果はCG分野の主要国際会議である Computer Graphics International 2022 (CGI 2022) で発表し、後に論文が Virtual Reality & Intelligent Hardware に掲載された。さらに、表面化散乱を伴う物体に対しても同様の実験を行い、金属物体だけでなくより複雑な反射特性を持つ物体にも提案手法が適用できることを示した。
また、スタイル変換により法線画像から金属物体の質感を再現する実験を行った。環境マップを使用して周囲環境が映り込んだ金属物体の画像をCGで生成し、ネットワークの訓練に用いた。スタイル変換の代表的なネットワークであるpix2pixのネットワーク構成や損失関数を変更することで、リアルな映り込みを再現することができた。この実験により、映り込みが物体の質感提示において重要な役割を果たすことが再認識され、今後の視点補間の実験にも生かすことができる知見を得られた。
このほか、GANの導入やARアプリケーションの実装など、二年目以降に予定していた計画の一部を先行して行うなど、順調なペースで研究を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
視点補間を金属物体だけでなく、表面化散乱を伴う物体にも適用できることを示すことができており、当初の計画以上に研究を進めることができた。また、リアルな映り込みを再現することにも成功し、質感再現という点で大きな進展があったといえる。
|
| Strategy for Future Research Activity |
まずは、視点補間を映り込みを伴う物体に適用することで、よりリアルな質感を再現できるようにする。これにより、鏡面反射だけでなく透過・屈折などの複雑な光学現象の再現につなげられるようにする。このほか、提案手法を実物体に対して適用する実験や、被験者を集めて生成された画像の官能評価を行うなど、計画に沿って研究を進めていく予定である。
|
