2023 Fiscal Year Research-status Report
| Project/Area Number |
22K12088
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
小室 孝 埼玉大学, 理工学研究科, 教授 (10345118)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 質感再現 / 任意視点画像 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本年度は、ワーピングを用いた視点補間の品質向上に取り組んだ。入力画像にデプス情報を加え、入力画像を出力画像の視点位置から見たときの画像にワーピングすることで、幾何変化が大きい対象においても安定した視点補間を行えるようにした。映り込みを伴う金属物体や表面下散乱を伴う物体、透明なガラス材質について実験を行い、効果を確認した。
さらに、これまでに行ってきたPSNRおよびSSIMによる数値評価に加えて、新たに画像分類のニューラルネットワークにおける中間ベクトルを用いた評価指標であるLPIPSを用いて生成画像の品質評価を行った。GANを用いた場合は、PSNRやSSIMは悪くなる傾向が見られたが、LPIPSは良くなる傾向が見られた。これは人の目で見た場合の評価結果に近く、GANを用いることで自然な視点補間が実現されることが示された。加えて、被験者に生成した画像を動画で見せて、正解に近い質感のほうを選ばせる実験を行い、金属材質とガラス材質については、99％以上の場合にGANを用いた生成画像が選択された。
現在は決まった視点位置で撮影した画像を入力として用いているが、任意の位置で撮影した画像を入力とする手法についても検討を行った。入力画像を出力画像の視点位置から見たときの画像にワーピングしているが、このときにどの視点から撮影した画像かを座標情報としてネットワークに与えた。現時点では座標情報を与えたことによる効果はまだはっきりと表れていないが、今後ハイライトの変化がわかりやすいデータセットを用いて効果を確認していく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
金属材質に加えて、表面下散乱を伴う物体や透明なガラス材質についても良好な結果を得ており、人の目で見た場合に近い定量評価や被験者実験を通して有効性を示すことができている。
|
| Strategy for Future Research Activity |
最終年度である今年度は、まだ着手途中である任意の位置で撮影した画像を入力とする手法や、視点移動に伴う変化が滑らかになるような制約を加えた手法、実画像を用いた視点補間実験などを行い、計画を完遂する予定である。
|
