2023 Fiscal Year Annual Research Report
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05958
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
岩井 大輔 大阪大学, 大学院基礎工学研究科, 准教授 (90504837)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 勇太 東京大学, 大学院情報学環・学際情報学府, 特任准教授 (10781362)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Keywords | 拡張現実感 / 人間拡張 / 光学シースルーHMD / プロジェクションマッピング / 質感の科学 |
|---|
| Outline of Annual Research Achievements |
【代表者】
質感分離眼鏡の性能評価と、プロジェクションマッピングによる質感編集技術の開発（毛質感の提示・深層生成技術との統合）を目標として研究を進めた。前者については、ユーザが指定する一部の領域のみ間接反射成分を観察できる光学シースルー拡張現実感システムの構築に成功し、ユーザ実験によって実際に特定の領域のみ質感を切り替えることが可能であることを確認できた。後者については、投影対象面を振動させることで、投影された毛質感を向上させる技術の開発を行ったが、異なる深度に提示された輝点が、視点に応じて重なり合ったり離れてしまったりすることで、連続的な毛として視認できないという技術課題が見つかり、毛質感を提示するシステムとしての完成には至らなかった。深層生成技術をプロジェクションマッピングに統合する研究では、投影対象の質感を、ユーザがテキスト入力したプロンプトに応じて適切に切り替えるシステムを実現した。そのために、投影過程をニューラルネットワークで表現し微分可能とする技術の開発にも取り組んだ。
【分担者】
光を減算する光学シースルーディスプレイの技術開発を行った。まず、フォトクロミック材料を用いる遮蔽マスクについては、今年度は十分に進捗せず、次年度への継続課題となった。一方、高速に透過波長を切り替えられる液晶チューナブルフィルタを二重化して色空間を拡大し、DMDを用いて空間変調する、新たな減算ディスプレイの原理を考案し、実証した。また、空中像呈示で用いられるマイクロミラーアレイ光学系とロボットアームを用いて、ユーザがディスプレイを装着する必要なく、網膜投影によるAR映像呈示可能なディスプレイ技術についても開発に成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【代表者】
特に、プロジェクションマッピングによる質感編集技術に関して大きく研究が進展し、多くの論文発表を実施できた。具体的には、「研究実績の概要」セクションに記載した、深層生成技術をプロジェクションマッピングに統合しテキスト入力したプロンプトに応じて投影対象の質感を切り替える研究は、AR/VR分野の主要な論文誌IEEE Transactions on Visualization and Computer Graphics (TVCG) に採録された。また、質感編集で重要となる投影映像のコントラスト増強を実現すべく、プロジェクタの新たな光学系を提案した研究が、同様にIEEE TVCGに採録された。さらに、明室でのプロジェクションマッピングでもコントラスト低下を抑制した投影結果を実現する研究を実施した成果は、IEEE TVCGに採録されるとともに、主要な国際会議IEEE Conference on Virtual Reality and 3D User Interface (VR) にてBest Paper Award を受賞した。
【分担者】
「研究実績の概要」セクションに記載した、新規な減算ディスプレイの成果は、IEEE TVCGに採録された。また、網膜投影ディスプレイ技術についても、AR/VR関連の国際会議ACM Virtual Reality Software and Technology にて口頭発表を行った。その他にも、映像エンジンを環境側に配置し、ユーザは簡素な光学系のみ眼鏡として装着する、軽量なHMDのアーキテクチャに関する研究がIEEE TVCGに2件採録され、そのうちの1件は、IEEE VRにてBest Paper Honorable Mention Awardを実施した。
全体として、研究がおおむね順調に進展した、と考えている。
|
| Strategy for Future Research Activity |
【代表者】
明るい場所でのプロジェクションマッピングは投影結果にコントラスト低下を引き起こすことから、従来プロジェクションマッピングは暗所で行われてきた。一方、暗所と明所では知覚する質感が異なることが知られており、特に色のモード（開口色モードと表面色モード）の違いは顕著である。そこで、環境照明をプロジェクタに置き換えて、コントラスト低下を抑制した照明を本年度実現した。次年度は、従来の照明機器と同等の照明環境を再現すべく、LEDの2次元アレイにレンズアレイを組み合わせる技術を開発する。また、知覚される色のモードが、明所と暗所のプロジェクションマッピング結果でどのように異なるかを明らかにする。
【分担者】
これまでの光学シースルーディスプレイ技術を統合して、光線の加算と減算の双方を行うことのできるディスプレイを開発して、眼鏡型の質感提示ディスプレイにおいて考えうる限り最も高機能なデバイスを実現し、その質感提示への適用可能性について検討する。さらに、実応用を見越し、ユーザの身体的負荷を抑えることを目的として、眼鏡側には最低限の光学機能しか持たさず、映像を眼鏡に投射することで加算型の質感提示を行うディスプレイの高度化にも取り組む。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Iwai D2023
Author(s)
Melting Universe into Metaverse by Projection Mapping
Organizer
French-Japanese Seminar on “Metaverse and Virtual Reality - The Science and Technology of Interacting with Digital Worlds”
Int'l Joint Research / Invited
-
-
-
-
-
-
-
-
-
-
