| 研究領域 | 実世界の奥深い質感情報の分析と生成 |
|---|
| 研究課題/領域番号 |
20H05958
|
|---|
| 研究種目 |
学術変革領域研究(A)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
学術変革領域研究区分(Ⅳ)
|
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
岩井 大輔 大阪大学, 大学院基礎工学研究科, 准教授 (90504837)
|
|---|
| 研究分担者 |
伊藤 勇太 東京大学, 大学院情報学環・学際情報学府, 特任准教授 (10781362)
|
|---|
| 研究期間 (年度) |
2020-11-19 – 2025-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
101,140千円 (直接経費: 77,800千円、間接経費: 23,340千円)
2024年度: 18,720千円 (直接経費: 14,400千円、間接経費: 4,320千円)
2023年度: 19,760千円 (直接経費: 15,200千円、間接経費: 4,560千円)
2022年度: 17,680千円 (直接経費: 13,600千円、間接経費: 4,080千円)
2021年度: 17,810千円 (直接経費: 13,700千円、間接経費: 4,110千円)
2020年度: 27,170千円 (直接経費: 20,900千円、間接経費: 6,270千円)
|
|---|
| キーワード | 拡張現実感 / 人間拡張 / 光学シースルーHMD / プロジェクションマッピング / 質感の科学 |
|---|
| 研究開始時の研究の概要 |
人の視覚に機械視覚を融合することで、人間の質感認識能力を飛躍的に向上させることを目標とする。機械視覚は、人の視覚よりもはるかに高い時空間・波長解像度で光の伝播を捉え、実物から放射される光線場を精緻に分解できる。そこで本研究では、機械視覚が捉える質感情報を人の知覚できる形に変換して視界に与え、人の外界モデルをアップデートすることで、深奥質感の生成に迫る。具体的には、実物から放射される光線場を、人間の目に届く直前で直接操作する装着デバイス（光変調眼鏡）を開発し、それによって人の質感認識能力を向上させることができるか、を明らかにする。
|
| 研究実績の概要 |
【代表者】
質感分離眼鏡の性能評価と、プロジェクションマッピングによる質感編集技術の開発（毛質感の提示・深層生成技術との統合）を目標として研究を進めた。前者については、ユーザが指定する一部の領域のみ間接反射成分を観察できる光学シースルー拡張現実感システムの構築に成功し、ユーザ実験によって実際に特定の領域のみ質感を切り替えることが可能であることを確認できた。後者については、投影対象面を振動させることで、投影された毛質感を向上させる技術の開発を行ったが、異なる深度に提示された輝点が、視点に応じて重なり合ったり離れてしまったりすることで、連続的な毛として視認できないという技術課題が見つかり、毛質感を提示するシステムとしての完成には至らなかった。深層生成技術をプロジェクションマッピングに統合する研究では、投影対象の質感を、ユーザがテキスト入力したプロンプトに応じて適切に切り替えるシステムを実現した。そのために、投影過程をニューラルネットワークで表現し微分可能とする技術の開発にも取り組んだ。
【分担者】
光を減算する光学シースルーディスプレイの技術開発を行った。まず、フォトクロミック材料を用いる遮蔽マスクについては、今年度は十分に進捗せず、次年度への継続課題となった。一方、高速に透過波長を切り替えられる液晶チューナブルフィルタを二重化して色空間を拡大し、DMDを用いて空間変調する、新たな減算ディスプレイの原理を考案し、実証した。また、空中像呈示で用いられるマイクロミラーアレイ光学系とロボットアームを用いて、ユーザがディスプレイを装着する必要なく、網膜投影によるAR映像呈示可能なディスプレイ技術についても開発に成功した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
【代表者】
特に、プロジェクションマッピングによる質感編集技術に関して大きく研究が進展し、多くの論文発表を実施できた。具体的には、「研究実績の概要」セクションに記載した、深層生成技術をプロジェクションマッピングに統合しテキスト入力したプロンプトに応じて投影対象の質感を切り替える研究は、AR/VR分野の主要な論文誌IEEE Transactions on Visualization and Computer Graphics (TVCG) に採録された。また、質感編集で重要となる投影映像のコントラスト増強を実現すべく、プロジェクタの新たな光学系を提案した研究が、同様にIEEE TVCGに採録された。さらに、明室でのプロジェクションマッピングでもコントラスト低下を抑制した投影結果を実現する研究を実施した成果は、IEEE TVCGに採録されるとともに、主要な国際会議IEEE Conference on Virtual Reality and 3D User Interface (VR) にてBest Paper Award を受賞した。
【分担者】
「研究実績の概要」セクションに記載した、新規な減算ディスプレイの成果は、IEEE TVCGに採録された。また、網膜投影ディスプレイ技術についても、AR/VR関連の国際会議ACM Virtual Reality Software and Technology にて口頭発表を行った。その他にも、映像エンジンを環境側に配置し、ユーザは簡素な光学系のみ眼鏡として装着する、軽量なHMDのアーキテクチャに関する研究がIEEE TVCGに2件採録され、そのうちの1件は、IEEE VRにてBest Paper Honorable Mention Awardを実施した。
全体として、研究がおおむね順調に進展した、と考えている。
|
| 今後の研究の推進方策 |
【代表者】
明るい場所でのプロジェクションマッピングは投影結果にコントラスト低下を引き起こすことから、従来プロジェクションマッピングは暗所で行われてきた。一方、暗所と明所では知覚する質感が異なることが知られており、特に色のモード（開口色モードと表面色モード）の違いは顕著である。そこで、環境照明をプロジェクタに置き換えて、コントラスト低下を抑制した照明を本年度実現した。次年度は、従来の照明機器と同等の照明環境を再現すべく、LEDの2次元アレイにレンズアレイを組み合わせる技術を開発する。また、知覚される色のモードが、明所と暗所のプロジェクションマッピング結果でどのように異なるかを明らかにする。
【分担者】
これまでの光学シースルーディスプレイ技術を統合して、光線の加算と減算の双方を行うことのできるディスプレイを開発して、眼鏡型の質感提示ディスプレイにおいて考えうる限り最も高機能なデバイスを実現し、その質感提示への適用可能性について検討する。さらに、実応用を見越し、ユーザの身体的負荷を抑えることを目的として、眼鏡側には最低限の光学機能しか持たさず、映像を眼鏡に投射することで加算型の質感提示を行うディスプレイの高度化にも取り組む。
|
