| 研究課題/領域番号 |
22K12136
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61020:ヒューマンインタフェースおよびインタラクション関連
|
|---|
| 研究機関 | 神奈川工科大学 |
|---|
研究代表者 |
上平 員丈 神奈川工科大学, 研究推進機構, 客員研究員 (50339892)
|
|---|
| 研究分担者 |
高田 英明 長崎大学, 情報データ科学部, 教授 (10880859)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2022年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
|---|
| キーワード | 奥行融合 / HMD / ３次元表示 / 拡張現実 / 3次元表示 / ヘッドマウントディスプレイ |
|---|
| 研究開始時の研究の概要 |
本研究は現実空間に実在する実物体とその前方に空中表示した像との間で奥行融合により視覚上の相互作用を誘起させ、実物体の形状や位置を現実とは異なった形で人間に知覚させる新たな3次元表示の実現を目的とする。本技術により絵画や写真など平面状の実物体を人間の視覚系に3次元的に知覚させることができ、実物体コンテンツの新たな表現技法を提供する。
奥行融合は画像間で生じる視覚現象であるが、本研究はこの現象を実物体に適用することにより、人間が自身の眼で直接見る実物体にもかかわらず、その3次元的構造を目的に応じて実際とは異なった形で視覚系に知覚させ点に独創性があり、従来にない新しいタイプの拡張現実感技術を創出する。
|
| 研究実績の概要 |
本研究は、実空間に実在する実物体とその前方に空中表示した像との間で奥行融合を生じさせ、実物体の形状や位置を現実とは異なった形で人間に知覚させることができる3次元表示の実現を目的としており、初年度の2022年度は本研究の基盤となる下記2項目を実施し、下記の成果を得た。
（1）融合像の奥行位置の輝度比依存性：本研究では光学透過型のヘッドマウントディスプレイ（HMD）により実物体の前方に空中像を表示する。奥行融合はスクリーンに表示された画像間で生じる現象であるが、本研究では実物体とHMDに表示された空中像を奥行融合により1つの像として表示する。まず、単純なテストパタンを用いて、これを紙に印刷したものを実物体とし、またこのパタンをHMDで印刷パタンの前方に空中像として表示することで奥行融合が生じ両者が一つのパタンとして知覚されることが確認できた。また、融合像の奥行き位置は実物体と空中像の輝度比に依存し、これより従来の奥行融合と同様に本方法においても空中の任意の位置に融合像を表示できることを明らかにした。
（２）次元変換の実現性確認：本研究における最大の目的は絵画や写真など平面上に描かれた2次元像をHMDで表示する空中像と融合させてそのコンテンツが表現する３次元像として観察者に知覚させることである。この可能性を確認するため、3DCGで3D物体の3Dモデルを作成し、その画像を紙に印刷して2次元の実物体とし、さらに3Dモデルから3D物体のデプスマップを得て、デプスマップと3D物体の２次元画像を積算して空中像を生成した。デプスマップと積算により空中像の各座標の輝度はその座標の奥行位置に依存するため、奥行融合により融合された像は3Dモデルが有する３次元形状として知覚されると期待される。主観評価の結果から期待通り２次元の絵画中の物体が絵画から飛び出して３次元物体として知覚されることが確認できた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初計画では2022年度は、1）融合像の位置変更の条件明確化、2）形状、質感変更のための条件明確化の一部、および3）次元変更のための条件明確化の一部を実行する予定であった。このうち1）については概ね達成できた。2）については未着手であり2023年度に実施する。3）については実際の3Dコンテンツを用いて空中像を生成する方法を確立するとともに、開発した手法を用いて生成した空中像により次元変更の実現性を実証することができ予定以上の進捗であった。
以上から、全般的に見て概ね順調に進捗している。
|
| 今後の研究の推進方策 |
基本的には当初予定に従って進めるが、特に初年度で未着手となった、「形状、質感変更のための条件明確化」は優先的に進める。また、並行して「次元変更（紙や壁などに描かれた絵、写真の3次元化）」について、詳細な条件を明らかにする。また、今年度は3DCGで作成した3Dモデルから印刷画像と空中像を生成したが、実応用では印刷画像や写真が出発材料となるため、これらの２次元画像からデプスマップを自動的に取得する方法を検討する。具体的な方法として生成型ディープラーニングであるGAN（Generative Adversarial Network）とオートエンコーダーを用いる方法を検討する。この方法を開発したのちに具体的な応用を想定したデモシステムを構築し、本研究の有効性を具体的な形で可視化していく。
|
