融合現実を実現する新しい3次元表示技術とその応用に関する研究
| Project/Area Number |
22K12136
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Kanagawa Institute of Technology |
|---|
Principal Investigator |
上平 員丈 神奈川工科大学, 公私立大学の部局等, 研究員 (50339892)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高田 英明 長崎大学, 情報データ科学部, 教授 (10880859)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | ３次元表示 / 奥行融合 / HMD / 変調現実 / 拡張現実 / 3次元表示 / ヘッドマウントディスプレイ |
|---|
| Outline of Research at the Start |
本研究は現実空間に実在する実物体とその前方に空中表示した像との間で奥行融合により視覚上の相互作用を誘起させ、実物体の形状や位置を現実とは異なった形で人間に知覚させる新たな3次元表示の実現を目的とする。本技術により絵画や写真など平面状の実物体を人間の視覚系に3次元的に知覚させることができ、実物体コンテンツの新たな表現技法を提供する。
奥行融合は画像間で生じる視覚現象であるが、本研究はこの現象を実物体に適用することにより、人間が自身の眼で直接見る実物体にもかかわらず、その3次元的構造を目的に応じて実際とは異なった形で視覚系に知覚させ点に独創性があり、従来にない新しいタイプの拡張現実感技術を創出する。
|
| Outline of Annual Research Achievements |
本研究は、実空間に実在する実物体とその前方に表示した空中像との間で奥行融合を生じさせ、実物体の形状を現実と異ならせて人間に知覚させる3次元表示の実現を目的とする。初年度の2022年度は光学シースルー型HMDで表示した空中像と実物体の間で奥行融合が生じること、また実物体として印刷画像を用いると画像中のオブジェクトが印刷媒体から飛び出して立体的に知覚されることなどの原理確認を行った。
これらの結果を踏まえ、2023年度は要素技術の確立を目指し、下記3項目を実施した。また、本技術は実世界を現実と異ならせて知覚させるため、変調現実（Modulated Reality）と称し、新たなXRコンセプトとして提案した。
1. 融合像の生成条件依存性を調べ、融合像が3次元オブジェクトの本来の３次元形状として知覚させるための条件を調査した。パラメータとして空中像の輝度、およびデプスマップの輝度分布を選び、実験から正確な３次元形状の知覚を実現するための条件選定法を明らかにした。
2. HMDでは頭部の動きにつれて表示像も動く。奥行融合の知覚には観察者から見て常に前後の画像が重なり合う必要がある。実験では顎台で頭部を固定して融合像を観察したが、実用上は強制的な頭部の固定はできないので、頭部の動きに関係なく常に前後像が重なる必要である。これを実現するソフト開発に着手し概ね完成した。
3. 本研究の応用例として美術館等の絵画を立体的に鑑賞できるようして絵画鑑賞の付加価値向上を目指している。しかし、一般の絵画には3次元情報がないのでデプスマップが得られない。そこで、生成AIにより２次元画像のデプスマップを生成し、これより空中像を生成する方法を検討した。その結果、実現性は確認できたが、融合像の各部分の前後感が人間が2次元画像から感じ取るものと異なる場合もあり、今後AIによるデプスマップの生成法の改善を目指す。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度の当初計画では、1）形状、質感変更のための条件明確化、2）次元変更（紙や壁などに描かれた絵、写真の3次元化）についての詳細条件の明確化、および、3）２次元画像からデプスマップを自動的に取得する方法の検討であった。このうち2）については概ね達成できた。3）については、当初生成型ディープラーニングであるGAN（Generative Adversarial Network）とオートエンコーダーを用いる方法を検討する予定であったが、新たな画像生成AIであるStable Diffusionの適用を試みた結果、本研究が目指す次元変更にとって実用性のあるデプスマップ生成の可能性が高いことが明らかになった。
1）については着手が遅れているが、研究目標達成時に大きなインパクトが期待できる、2）および3）について大きな進展が得られたので、全体的には概ね順調に進捗している。
|
| Strategy for Future Research Activity |
本研究では、提案した変調現実（Modulated Reality:MoR）による実物体の３次元形状変調として、奥行位置変更、形状・質感変調、および２次元から3次元への次元変更を具体的研究項目として取り上げ、なかでも特に実現時に大きなインパクトが期待される次元変更を重点的に取り組んできた。次元変更を３次元情報をもたない一般の絵画等に応用する場合、絵画からのデプスマップの生成がカギとなっていたが、デプスマップ自動生成の見通しが得られたので、終年度となる2024年においては、次元変更技術の確立に重点的に取り組むこととする。形状変更・質感変更は次元変更技術確立後に取り組むこととする。なお、奥行位置変更については研究開始初年度に実施し、実現性を確認済みである。
|
Report
(2 results)
Research Products
(3 results)
