| Project/Area Number |
21K04072
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21020:Communication and network engineering-related
|
|---|
| Research Institution | Nagoya Industrial Science Research Institute |
|---|
Principal Investigator |
谷本 正幸 公益財団法人名古屋産業科学研究所, 研究部, 上席研究員 (30109293)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 自由視点テレビ / FTV |
|---|
| Outline of Research at the Start |
自由視点テレビFTVはユーザが視点を自由に移動させて３次元シーンを見ることができる映像メディアである．３次元シーンを様々な方向から高品質な自由視点映像で鑑賞するには，広い視域を持ち写実性に優れたFTVが必要であるが，広い視域と写実性を両立させる手法はこれまで見出されていない．本研究では３次元空間の光線情報を表す光線空間が物体の形状に起因する幾何構造を持つことに着目し，光線情報から形状情報を抽出することにより，写実性と広視域性を併せ持つ革新的なFTVの構築原理を開拓する．
|
| Outline of Annual Research Achievements |
将来の没入メディアでは，高い写実性と水平・垂直の両方向視差を広い範囲で実現する高画質・広視域のFTVが必要となる．しかし，従来の点ベースのシーン表現では，高画質・広視域のFTVは実現できない．このため，昨年度までに面ベースのシーン表現とそれを用いた面ベースFTVの提案，光線空間の構造解析，光線空間からの面情報検出法の研究を行った．光線空間の３viewから面を検出し，面ベースの自由視点画像生成を行うことができた．この手法を用いて面ベースFTV によるFree Navigation実験を行い，360度の広い視域を実現できた．
今年度は，前年度に導いた光線空間からの面情報検出手法をさらに深く研究した．ベクトル解析により本手法が双対基底による3次元ベクトルの展開と深い関連があることを見出した．双対基底によるベクトルの展開式を用いて光線空間から面を求める解析式を導いた．３次元ベクトルの双対基底がベクトル積で与えられることを利用し，面を観測する方向と検出可能な面方向の範囲の関係が，球面三角形の３頂点と内部の関係と等しいことを明らかにした．これによって，FTVの撮影に用いるマルチカメラの中から面検出に使用する３台のカメラを選択する指針が得られた．
様々な３Dシーンについて面情報検出と面ベースの自由視点画像生成実験を行った．その結果オクルージョンのないシーンについては正しい面情報が検出できたが，オクルージョンのあるシーンについては正しい面情報が検出できなかった．これは現在の手法では３方向から面全体が見えることが条件であるためである．このため，この条件を緩和する仕組みを研究した結果，シーンをオクルージョンのない前景と前景で遮られる後景に分割し，まずオクルージョンのない前景の面を現在の手法で検出し，次にその面情報を利用して後景の面を順次検出するアイデアに到達した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
光線情報と面情報を用いた自由視点画像生成が可能となり，全方位のフリーナビゲーション実験に成功した．さらに，マルチカメラの中から面検出に使用する３台のカメラを選択する指針となる関係を導くとともに，３方向から面全体が見えるという現在の面検出手法の条件を緩和できる可能性を見出したため．
|
| Strategy for Future Research Activity |
これまでの研究によって，オクルージョンがなく面全体が３方向から見える場合の面検出に成功した．今後は，オクルージョンがあり，面全体が１方向からは見えるが，他の２方向からは面の一部しか見えない場合の面も検出可能な手法を研究する．
|
