| Project/Area Number |
22K12088
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
小室 孝 埼玉大学, 理工学研究科, 教授 (10345118)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 質感再現 / 任意視点画像 / 深層学習 / 画像変換 |
|---|
| Outline of Research at the Start |
本研究は、深層学習による画像変換技術を利用した任意視点映像生成の手法を新たに開発し、さまざまな光学特性を持つ実物体の質感再現を実現することを目標とする。深層学習の利用により、非線形の画像補間や物体認識に基づく光学特性の再現を実現するとともに、敵対的生成ネットワークの技術を導入することで、人が見て本物らしく感じる質感再現が行えるようにする。そのような手法の開発と評価を通じて有用な知見を得るとともに、官能評価やARアプリケーションの実装により提案手法の有効性を示す。
|
| Outline of Annual Research Achievements |
本年度は、質感再現に向けての第一歩として、鏡面反射を伴う金属物体の視点補間を試みた。画像変換によく用いられる深層ニューラルネットワークであるU-Netを改良し、四隅での撮影画像と視点座標を入力とし、任意の視点位置における画像を出力するようにした。CGを用いた実験により、金属物体の反射が提案手法により再現できることを確認した。本研究成果はCG分野の主要国際会議である Computer Graphics International 2022 (CGI 2022) で発表し、後に論文が Virtual Reality & Intelligent Hardware に掲載された。さらに、表面化散乱を伴う物体に対しても同様の実験を行い、金属物体だけでなくより複雑な反射特性を持つ物体にも提案手法が適用できることを示した。
また、スタイル変換により法線画像から金属物体の質感を再現する実験を行った。環境マップを使用して周囲環境が映り込んだ金属物体の画像をCGで生成し、ネットワークの訓練に用いた。スタイル変換の代表的なネットワークであるpix2pixのネットワーク構成や損失関数を変更することで、リアルな映り込みを再現することができた。この実験により、映り込みが物体の質感提示において重要な役割を果たすことが再認識され、今後の視点補間の実験にも生かすことができる知見を得られた。
このほか、GANの導入やARアプリケーションの実装など、二年目以降に予定していた計画の一部を先行して行うなど、順調なペースで研究を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
視点補間を金属物体だけでなく、表面化散乱を伴う物体にも適用できることを示すことができており、当初の計画以上に研究を進めることができた。また、リアルな映り込みを再現することにも成功し、質感再現という点で大きな進展があったといえる。
|
| Strategy for Future Research Activity |
まずは、視点補間を映り込みを伴う物体に適用することで、よりリアルな質感を再現できるようにする。これにより、鏡面反射だけでなく透過・屈折などの複雑な光学現象の再現につなげられるようにする。このほか、提案手法を実物体に対して適用する実験や、被験者を集めて生成された画像の官能評価を行うなど、計画に沿って研究を進めていく予定である。
|
Report
(1 results)
Research Products
(5 results)
