| 研究課題/領域番号 |
22K12088
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 埼玉大学 |
|---|
研究代表者 |
小室 孝 埼玉大学, 理工学研究科, 教授 (10345118)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2022年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
|---|
| キーワード | 質感再現 / 任意視点画像 / 深層学習 / 画像変換 |
|---|
| 研究開始時の研究の概要 |
本研究は、深層学習による画像変換技術を利用した任意視点映像生成の手法を新たに開発し、さまざまな光学特性を持つ実物体の質感再現を実現することを目標とする。深層学習の利用により、非線形の画像補間や物体認識に基づく光学特性の再現を実現するとともに、敵対的生成ネットワークの技術を導入することで、人が見て本物らしく感じる質感再現が行えるようにする。そのような手法の開発と評価を通じて有用な知見を得るとともに、官能評価やARアプリケーションの実装により提案手法の有効性を示す。
|
| 研究実績の概要 |
本年度は、ワーピングを用いた視点補間の品質向上に取り組んだ。入力画像にデプス情報を加え、入力画像を出力画像の視点位置から見たときの画像にワーピングすることで、幾何変化が大きい対象においても安定した視点補間を行えるようにした。映り込みを伴う金属物体や表面下散乱を伴う物体、透明なガラス材質について実験を行い、効果を確認した。
さらに、これまでに行ってきたPSNRおよびSSIMによる数値評価に加えて、新たに画像分類のニューラルネットワークにおける中間ベクトルを用いた評価指標であるLPIPSを用いて生成画像の品質評価を行った。GANを用いた場合は、PSNRやSSIMは悪くなる傾向が見られたが、LPIPSは良くなる傾向が見られた。これは人の目で見た場合の評価結果に近く、GANを用いることで自然な視点補間が実現されることが示された。加えて、被験者に生成した画像を動画で見せて、正解に近い質感のほうを選ばせる実験を行い、金属材質とガラス材質については、99％以上の場合にGANを用いた生成画像が選択された。
現在は決まった視点位置で撮影した画像を入力として用いているが、任意の位置で撮影した画像を入力とする手法についても検討を行った。入力画像を出力画像の視点位置から見たときの画像にワーピングしているが、このときにどの視点から撮影した画像かを座標情報としてネットワークに与えた。現時点では座標情報を与えたことによる効果はまだはっきりと表れていないが、今後ハイライトの変化がわかりやすいデータセットを用いて効果を確認していく予定である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
金属材質に加えて、表面下散乱を伴う物体や透明なガラス材質についても良好な結果を得ており、人の目で見た場合に近い定量評価や被験者実験を通して有効性を示すことができている。
|
| 今後の研究の推進方策 |
最終年度である今年度は、まだ着手途中である任意の位置で撮影した画像を入力とする手法や、視点移動に伴う変化が滑らかになるような制約を加えた手法、実画像を用いた視点補間実験などを行い、計画を完遂する予定である。
|
