| Project/Area Number |
22K12088
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
小室 孝 埼玉大学, 理工学研究科, 教授 (10345118)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 質感再現 / 任意視点画像 / 深層学習 / 画像変換 |
|---|
| Outline of Research at the Start |
本研究は、深層学習による画像変換技術を利用した任意視点映像生成の手法を新たに開発し、さまざまな光学特性を持つ実物体の質感再現を実現することを目標とする。深層学習の利用により、非線形の画像補間や物体認識に基づく光学特性の再現を実現するとともに、敵対的生成ネットワークの技術を導入することで、人が見て本物らしく感じる質感再現が行えるようにする。そのような手法の開発と評価を通じて有用な知見を得るとともに、官能評価やARアプリケーションの実装により提案手法の有効性を示す。
|
| Outline of Annual Research Achievements |
本年度は、ワーピングを用いた視点補間の品質向上に取り組んだ。入力画像にデプス情報を加え、入力画像を出力画像の視点位置から見たときの画像にワーピングすることで、幾何変化が大きい対象においても安定した視点補間を行えるようにした。映り込みを伴う金属物体や表面下散乱を伴う物体、透明なガラス材質について実験を行い、効果を確認した。
さらに、これまでに行ってきたPSNRおよびSSIMによる数値評価に加えて、新たに画像分類のニューラルネットワークにおける中間ベクトルを用いた評価指標であるLPIPSを用いて生成画像の品質評価を行った。GANを用いた場合は、PSNRやSSIMは悪くなる傾向が見られたが、LPIPSは良くなる傾向が見られた。これは人の目で見た場合の評価結果に近く、GANを用いることで自然な視点補間が実現されることが示された。加えて、被験者に生成した画像を動画で見せて、正解に近い質感のほうを選ばせる実験を行い、金属材質とガラス材質については、99％以上の場合にGANを用いた生成画像が選択された。
現在は決まった視点位置で撮影した画像を入力として用いているが、任意の位置で撮影した画像を入力とする手法についても検討を行った。入力画像を出力画像の視点位置から見たときの画像にワーピングしているが、このときにどの視点から撮影した画像かを座標情報としてネットワークに与えた。現時点では座標情報を与えたことによる効果はまだはっきりと表れていないが、今後ハイライトの変化がわかりやすいデータセットを用いて効果を確認していく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
金属材質に加えて、表面下散乱を伴う物体や透明なガラス材質についても良好な結果を得ており、人の目で見た場合に近い定量評価や被験者実験を通して有効性を示すことができている。
|
| Strategy for Future Research Activity |
最終年度である今年度は、まだ着手途中である任意の位置で撮影した画像を入力とする手法や、視点移動に伴う変化が滑らかになるような制約を加えた手法、実画像を用いた視点補間実験などを行い、計画を完遂する予定である。
|
