人間機械融合視覚による質感認識能力拡張

• Project Area: Analysis and synthesis of deep SHITSUKAN information in the real world
• Project/Area Number: 20H05958
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Osaka University
• Principal Investigator: 岩井 大輔 大阪大学, 大学院基礎工学研究科, 准教授 (90504837)
• Co-Investigator(Kenkyū-buntansha): 伊藤 勇太 東京大学, 大学院情報学環・学際情報学府, 特任准教授 (10781362)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥101,140,000 (Direct Cost: ¥77,800,000、Indirect Cost: ¥23,340,000); Fiscal Year 2024: ¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000); Fiscal Year 2023: ¥19,760,000 (Direct Cost: ¥15,200,000、Indirect Cost: ¥4,560,000); Fiscal Year 2022: ¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000); Fiscal Year 2021: ¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000); Fiscal Year 2020: ¥27,170,000 (Direct Cost: ¥20,900,000、Indirect Cost: ¥6,270,000)
• Keywords: 拡張現実感 / 人間拡張 / 光学シースルーHMD / プロジェクションマッピング / 質感の科学

Outline of Research at the Start

人の視覚に機械視覚を融合することで、人間の質感認識能力を飛躍的に向上させることを目標とする。機械視覚は、人の視覚よりもはるかに高い時空間・波長解像度で光の伝播を捉え、実物から放射される光線場を精緻に分解できる。そこで本研究では、機械視覚が捉える質感情報を人の知覚できる形に変換して視界に与え、人の外界モデルをアップデートすることで、深奥質感の生成に迫る。具体的には、実物から放射される光線場を、人間の目に届く直前で直接操作する装着デバイス（光変調眼鏡）を開発し、それによって人の質感認識能力を向上させることができるか、を明らかにする。

Outline of Annual Research Achievements

【代表者】
質感分離眼鏡の性能評価と、プロジェクションマッピングによる質感編集技術の開発（毛質感の提示・深層生成技術との統合）を目標として研究を進めた。前者については、ユーザが指定する一部の領域のみ間接反射成分を観察できる光学シースルー拡張現実感システムの構築に成功し、ユーザ実験によって実際に特定の領域のみ質感を切り替えることが可能であることを確認できた。後者については、投影対象面を振動させることで、投影された毛質感を向上させる技術の開発を行ったが、異なる深度に提示された輝点が、視点に応じて重なり合ったり離れてしまったりすることで、連続的な毛として視認できないという技術課題が見つかり、毛質感を提示するシステムとしての完成には至らなかった。深層生成技術をプロジェクションマッピングに統合する研究では、投影対象の質感を、ユーザがテキスト入力したプロンプトに応じて適切に切り替えるシステムを実現した。そのために、投影過程をニューラルネットワークで表現し微分可能とする技術の開発にも取り組んだ。
【分担者】
光を減算する光学シースルーディスプレイの技術開発を行った。まず、フォトクロミック材料を用いる遮蔽マスクについては、今年度は十分に進捗せず、次年度への継続課題となった。一方、高速に透過波長を切り替えられる液晶チューナブルフィルタを二重化して色空間を拡大し、DMDを用いて空間変調する、新たな減算ディスプレイの原理を考案し、実証した。また、空中像呈示で用いられるマイクロミラーアレイ光学系とロボットアームを用いて、ユーザがディスプレイを装着する必要なく、網膜投影によるAR映像呈示可能なディスプレイ技術についても開発に成功した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

【代表者】
特に、プロジェクションマッピングによる質感編集技術に関して大きく研究が進展し、多くの論文発表を実施できた。具体的には、「研究実績の概要」セクションに記載した、深層生成技術をプロジェクションマッピングに統合しテキスト入力したプロンプトに応じて投影対象の質感を切り替える研究は、AR/VR分野の主要な論文誌IEEE Transactions on Visualization and Computer Graphics (TVCG) に採録された。また、質感編集で重要となる投影映像のコントラスト増強を実現すべく、プロジェクタの新たな光学系を提案した研究が、同様にIEEE TVCGに採録された。さらに、明室でのプロジェクションマッピングでもコントラスト低下を抑制した投影結果を実現する研究を実施した成果は、IEEE TVCGに採録されるとともに、主要な国際会議IEEE Conference on Virtual Reality and 3D User Interface (VR) にてBest Paper Award を受賞した。
【分担者】
「研究実績の概要」セクションに記載した、新規な減算ディスプレイの成果は、IEEE TVCGに採録された。また、網膜投影ディスプレイ技術についても、AR/VR関連の国際会議ACM Virtual Reality Software and Technology にて口頭発表を行った。その他にも、映像エンジンを環境側に配置し、ユーザは簡素な光学系のみ眼鏡として装着する、軽量なHMDのアーキテクチャに関する研究がIEEE TVCGに2件採録され、そのうちの1件は、IEEE VRにてBest Paper Honorable Mention Awardを実施した。
全体として、研究がおおむね順調に進展した、と考えている。

Strategy for Future Research Activity

【代表者】
明るい場所でのプロジェクションマッピングは投影結果にコントラスト低下を引き起こすことから、従来プロジェクションマッピングは暗所で行われてきた。一方、暗所と明所では知覚する質感が異なることが知られており、特に色のモード（開口色モードと表面色モード）の違いは顕著である。そこで、環境照明をプロジェクタに置き換えて、コントラスト低下を抑制した照明を本年度実現した。次年度は、従来の照明機器と同等の照明環境を再現すべく、LEDの2次元アレイにレンズアレイを組み合わせる技術を開発する。また、知覚される色のモードが、明所と暗所のプロジェクションマッピング結果でどのように異なるかを明らかにする。
【分担者】
これまでの光学シースルーディスプレイ技術を統合して、光線の加算と減算の双方を行うことのできるディスプレイを開発して、眼鏡型の質感提示ディスプレイにおいて考えうる限り最も高機能なデバイスを実現し、その質感提示への適用可能性について検討する。さらに、実応用を見越し、ユーザの身体的負荷を抑えることを目的として、眼鏡側には最低限の光学機能しか持たさず、映像を眼鏡に投射することで加算型の質感提示を行うディスプレイの高度化にも取り組む。

Research Products

• [Int'l Joint Research] Tel Aviv University(イスラエル)
• [Int'l Joint Research] Tel Aviv University(イスラエル)
• [Journal Article] Projection Mapping under Environmental Lighting by Replacing Room Lights with Heterogeneous Projectors (2024)
  • Author(s): Takeuchi Masaki、Kusuyama Hiroki、Iwai Daisuke、Sato Kosuke
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 30 Issue: 5 Pages: 2151-2161
  • DOI: 10.1109/tvcg.2024.3372031
  • Peer Reviewed
• [Journal Article] Towards Co-Operative Beaming Displays: Dual Steering Projectors for Extended Projection Volume and Head Orientation Range (2024)
  • Author(s): Aoki Hiroto、Tochimoto Takumi、Hiroi Yuichi、Itoh Yuta
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 30 Issue: 5 Pages: 2309-2318
  • DOI: 10.1109/tvcg.2024.3372118
  • Peer Reviewed
• [Journal Article] StainedSweeper: Compact, Variable-Intensity Light-Attenuation Display with Sweeping Tunable Retarders (2024)
  • Author(s): Hiroi Yuichi、Hiraki Takefumi、Itoh Yuta
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 30 Issue: 5 Pages: 2682-2692
  • DOI: 10.1109/tvcg.2024.3372058
  • Peer Reviewed
• [Journal Article] Topology optimization with text-guided stylization (2023)
  • Author(s): Zhong Shengze、Punpongsanon Parinya、Iwai Daisuke、Sato Kosuke
  • Journal Title: Structural and Multidisciplinary Optimization Volume: 66 Issue: 12 Pages: 256-256
  • DOI: 10.1007/s00158-023-03686-7
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Neural Projection Mapping Using Reflectance Fields (2023)
  • Author(s): Erel Yotam、Iwai Daisuke、Bermano Amit H.
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 29 Issue: 11 Pages: 4339-4349
  • DOI: 10.1109/tvcg.2023.3320256
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Estimation of fused-filament-fabrication structural vibro-acoustic performance by modal impact sound (2023)
  • Author(s): Zhong Shengze、Punpongsanon Parinya、Iwai Daisuke、Sato Kosuke
  • Journal Title: Computers & Graphics Volume: 115 Pages: 137-147
  • DOI: 10.1016/j.cag.2023.07.010
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Focal surface projection: Extending projector depth of field using a phase‐only spatial light modulator (2023)
  • Author(s): Ueda Fumitaka、Kageyama Yuta、Iwai Daisuke、Sato Kosuke
  • Journal Title: Journal of the Society for Information Display Volume: 31 Issue: 11 Pages: 651-656
  • DOI: 10.1002/jsid.1261
  • Peer Reviewed
• [Journal Article] Low-Latency Beaming Display: Implementation of Wearable, 133 μs Motion-to-Photon Latency Near-Eye Display (2023)
  • Author(s): Hiroi Yuichi、Watanabe Akira、Mikawa Yuri、Itoh Yuta
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 29 Issue: 11 Pages: 4761-4771
  • DOI: 10.1109/tvcg.2023.3320212
  • Peer Reviewed
• [Journal Article] A Monocular Projector-Camera System Using Modular Architecture (2023)
  • Author(s): Yamamoto Kenta、Iwai Daisuke、Tani Ikuho、Sato Kosuke
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 29 Issue: 12 Pages: 5586-5592
  • DOI: 10.1109/tvcg.2022.3217266
  • Peer Reviewed / Open Access
• [Journal Article] Neural distortion fields for spatial calibration of wide field-of-view near-eye displays (2022)
  • Author(s): Yuichi Hiroi, Kiyosato Someya, Yuta Itoh
  • Journal Title: Optics Express Volume: 30 Issue: 22 Pages: 40628-40628
  • DOI: 10.1364/oe.472288
  • Peer Reviewed / Open Access
• [Journal Article] Online Projector Deblurring Using a Convolutional Neural Network (2022)
  • Author(s): Yuta Kageyama, Daisuke Iwai, Kosuke Sato
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 28 Issue: 5 Pages: 2223-2233
  • DOI: 10.1109/tvcg.2022.3150465
  • Peer Reviewed / Open Access
• [Journal Article] NSTO: Neural Synthesizing Topology Optimization for Modulated Structure Generation (2022)
  • Author(s): Shengze Zhong, Parinya Punpongsanon, Daisuke Iwai, Kosuke Sato
  • Journal Title: Computer Graphics Forum Volume: 41 Issue: 7 Pages: 553-566
  • DOI: 10.1111/cgf.14700
  • Peer Reviewed
• [Journal Article] SoftPrint: Investigating Haptic Softness Perception of 3D Printed Soft Object in FDM 3D Printers (2021)
  • Author(s): Motoki Miyoshi, Parinya Punpongsanon, Daisuke Iwai, Kosuke Sato
  • Journal Title: Journal of Imaging Science and Technology Volume: 65 Issue: 4 Pages: 040406-1-040406-8
  • DOI: 10.2352/j.imagingsci.technol.2021.65.4.040406
  • Peer Reviewed / Open Access
• [Journal Article] Multifocal Stereoscopic Projection Mapping (2021)
  • Author(s): Sorashi Kimura. Daisuke Iwai. Parinya Punpongsanon. Kosuke Sato
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 27 Issue: 11 Pages: 4256-4266
  • DOI: 10.1109/tvcg.2021.3106486
  • Peer Reviewed
• [Presentation] Appearance Editing of Real-World Objects using Projection Mapping (2023)
  • Author(s): Iwai D
  • Organizer: Computer Graphics International
  • Int'l Joint Research / Invited
• [Presentation] プロジェクションマッピングによる色彩の再現および制御, (2023)
  • Author(s): 岩井大輔
  • Organizer: 日本色彩学会第54回全国大会
  • Invited
• [Presentation] Iwai D (2023)
  • Author(s): Melting Universe into Metaverse by Projection Mapping
  • Organizer: French-Japanese Seminar on “Metaverse and Virtual Reality - The Science and Technology of Interacting with Digital Worlds”
  • Int'l Joint Research / Invited
• [Presentation] 影抑制と焦点ぼけ補償とを動的に調整可能な大開口同軸二重投影システム (2023)
  • Author(s): 楠山弘基, 影山雄太, 岩井大輔, 佐藤宏介
  • Organizer: 第28回日本バーチャルリアリティ学会大会
• [Presentation] プロジェクションマッピングによる照明と映像の融合 (2023)
  • Author(s): 岩井大輔
  • Organizer: 照明学会 光源・照明システム分科会公開研究会
  • Invited
• [Presentation] 複数のRGB-Dカメラ及び熱カメラを用いた手作業の三次元復元 (2023)
  • Author(s): 三浦康平, 岩井大輔, 佐藤宏介
  • Organizer: 第67回システム制御情報学会研究発表講演会
• [Presentation] 投影対象への微振動付加と適応高速投影による毛状素材の高質感投影表現 (2023)
  • Author(s): 西隼世, 岩井大輔, 佐藤宏介
  • Organizer: 第67回システム制御情報学会研究発表講演会
• [Presentation] 大開口同軸二重投影システムによる影抑制 (2023)
  • Author(s): 楠山弘基, 影山雄太, 岩井大輔, 佐藤宏介
  • Organizer: 第67回システム制御情報学会研究発表講演会
• [Presentation] プロジェクションマッピングの画質劣化補償におけるCNNとViTの精度比較 (2023)
  • Author(s): 影山雄太, 岩井大輔, 佐藤宏介
  • Organizer: 第67回システム制御情報学会研究発表講演会
• [Presentation] Structure Design with Text-Guided Stylization (2023)
  • Author(s): Zhong S, Punpongsanon P, 岩井大輔, 佐藤宏介
  • Organizer: 第67回システム制御情報学会研究発表講演会
• [Presentation] 食体験変容のための投影型ARによる動的食品質感変調に関する研究 (2023)
  • Author(s): 牧篤司, Punpongsanon P, 岩井大輔, 佐藤宏介
  • Organizer: 第67回システム制御情報学会研究発表講演会
• [Presentation] Telextiles: End-to-end Remote Transmission of Fabric Tactile Sensation (2023)
  • Author(s): Kitagishi T, Hiroi Y, Watanabe Y, Itoh Y, Rekimoto J
  • Organizer: ACM Symposium on User Interface Software and Technology (UIST) 2023
  • Int'l Joint Research
• [Presentation] Retinal Homing Display: Head-Tracking Auto-stereoscopic Retinal Projection Display (2023)
  • Author(s): Aoki H, Hiroi Y, Itoh Y, Rekimoto J
  • Organizer: ACM Symposium on Virtual Reality Software and Technology (VRST) 2023
  • Int'l Joint Research
• [Presentation] A Compact Photochromic Occlusion Capable See-through Display with Holographic Lenses (2023)
  • Author(s): Chun-Wei Ooi, Yuichi Hiroi, Yuta Itoh
  • Organizer: IEEE Conference Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] A High-Dynamic-Range Mesh Screen VR Display by Combining Frontal Projection and Retinal Projection (2023)
  • Author(s): Kazushi Kinjo, Daisuke Iwai, Kosuke Sato
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] Optical See-through Scope for Observing the Global Component of a Scene (2023)
  • Author(s): Yoshiaki Makita, Daisuke Iwai, Kosuke Sato
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] Projection Mapping in the Light: A Preliminary Attempt to Substitute Projectors for Room Lights (2023)
  • Author(s): Masaki Takeuchi, Daisuke Iwai, Kosuke Sato
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] イベントカメラを用いたレーザスペックル振動計測による遠隔触覚拡張 (2023)
  • Author(s): 岡本祥宏, 佐藤優志, 岩井大輔, 佐藤宏介
  • Organizer: 情報処理学会インタラクション2023
• [Presentation] 柔らかい食品上への情報埋め込み (2023)
  • Author(s): 松田綾美, パリンヤ プンポンサノン, 岩井大輔, 佐藤宏介
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] Towards Spatial Airflow Interaction: Schlieren Imaging for Augmented Reality (2022)
  • Author(s): Zhang Zhibin, Yuichi Hiroi, Yuta Itoh
  • Organizer: IEEE International Symposium on Mixed and Augmented Reality
  • Int'l Joint Research
• [Presentation] NeARportation: A Remote Real-time Neural Rendering Framework (2022)
  • Author(s): Yuichi Hiroi, Yuta Itoh, Jun Rekimoto
  • Organizer: ACM Symposium on Virtual Reality Software and Technology
  • Int'l Joint Research
• [Presentation] interiqr: Unobtrusive Edible Tags using Food 3D Printing (2022)
  • Author(s): Yamato Miyatake, Parinya Punpongsanon, Daisuke Iwai, Kosuke Sato
  • Organizer: ACM Symposium on User Interface Software and Technology
  • Int'l Joint Research
• [Presentation] Demonstration of interiqr: Unobtrusive Edible Tags using Food 3D Printing (2022)
  • Author(s): Parinya Punpongsanon, Yamato Miyatake, Daisuke Iwai, Kosuke Sato
  • Organizer: ACM Symposium on User Interface Software and Technology
  • Int'l Joint Research
• [Presentation] 前面投影と網膜投影とを重畳呈示するメッシュスクリーン型プロジェクションマッピング (2022)
  • Author(s): 金城和志, 岩井大輔, 佐藤宏介
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 環境照明再現により投影テクスチャのコントラスト低下を抑制するプロジェクションマッピング (2022)
  • Author(s): 竹内正稀, 岩井大輔, 佐藤宏介
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 多方向重畳プロジェクションマッピングによる質感編集 (2022)
  • Author(s): 岡本峻宙, 岩井大輔, 佐藤宏介
  • Organizer: 第66回システム制御情報学会研究発表講演会
• [Presentation] 高画素密度プロジェクションマッピングによる微細な質感編集 (2022)
  • Author(s): 谷育歩, 山本健太, 影山雄太, 岩井大輔, 佐藤宏介
  • Organizer: 第66回システム制御情報学会研究発表講演会
• [Presentation] フォーカルサーフェス投影によるプロジェクタの被写界深度拡張 (2022)
  • Author(s): 上田史貴, 山本健太, 影山雄太, 岩井大輔, 佐藤宏介
  • Organizer: 第66回システム制御情報学会研究発表講演会
• [Presentation] 多焦点型立体プロジェクションマッピング (2022)
  • Author(s): 岩井大輔
  • Organizer: 第21回情報科学技術フォーラム
  • Invited
• [Presentation] プロジェクションマッピングによる実物の質感操作 (2022)
  • Author(s): 岩井大輔
  • Organizer: 照明学会全国大会
  • Invited
• [Presentation] Projection Mapping Technologies for Permeation of Digital Controllability into the Physical World (2022)
  • Author(s): Daisuke Iwai
  • Organizer: International Conference on Artificial Reality and Telexistence & Eurographics Symposium on Virtual Environments
  • Int'l Joint Research / Invited
• [Presentation] Multifocal Stereoscopic Projection Mapping (2022)
  • Author(s): Daisuke Iwai
  • Organizer: ACM SIGGRAPH ASIA 2022
  • Int'l Joint Research / Invited
• [Presentation] 光学シースルーディスプレイによる質感再現に向けて (2022)
  • Author(s): 伊藤勇太
  • Organizer: 第20回関東光若手研究会
  • Invited
• [Presentation] 空間光変調による拡張現実感技術の未来 (2022)
  • Author(s): 伊藤勇太
  • Organizer: プロジェクションディスプレイ先進技術研究会2022
  • Invited
• [Presentation] サーモクロミック材と情報コードをRGB-Cストライプ構造化した表面色制御 (2022)
  • Author(s): 堀 悠太郎, プンポンサノン パリンヤ, 岩井 大輔, 佐藤 宏介
  • Organizer: 情報処理学会第84回全国大会
• [Presentation] 3Dプリント食品内部への情報埋め込み (2022)
  • Author(s): 宮武 大和, プンポンサノン パリンヤ, 岩井 大輔, 佐藤 宏介
  • Organizer: 情報処理学会第84回全国大会
• [Presentation] 光技術のプロジェクションマッピング応用 (2022)
  • Author(s): 岩井 大輔
  • Organizer: 電子情報通信学会総合大会
  • Invited
• [Presentation] Blending Shadows: Casting Shadows in Virtual and Real using Occlusion-Capable Augmented Reality Near-Eye Displays (2021)
  • Author(s): Kiyosato Someya, Yuta Itoh
  • Organizer: IEEE International Symposium on Mixed and Augmented Reality
  • Int'l Joint Research
• [Presentation] 光学シースルー型大域反射成分観察スコープにおける投影パタンの検討 (2021)
  • Author(s): 牧田 整明, 岩井 大輔, 佐藤 宏介
  • Organizer: 第26回日本バーチャルリアリティ学会大会
• [Presentation] 単一レンズ型同軸広角プロジェクタ-カメラシステムによる動的プロジェクションマッピングの基礎検討 (2021)
  • Author(s): 山本 健太, 岩井 大輔, 佐藤 宏介
  • Organizer: 第26回日本バーチャルリアリティ学会大会
• [Presentation] 3次元対象へのプロジェクションマッピングにおける画質劣化抑制技術 (2021)
  • Author(s): 岩井 大輔
  • Organizer: 精密工学会 画像応用技術専門委員会 第3回定例研究会
  • Invited
• [Presentation] CNNを用いた動的環境下での投影ボケ補償 (2021)
  • Author(s): 影山 雄太, 岩井 大輔, 佐藤 宏介
  • Organizer: 第24回 画像の認識・理解シンポジウム
• [Presentation] 光学シースルー型大域反射成分観測スコープの構築 (2021)
  • Author(s): 牧田 整明, 岩井 大輔, 佐藤 宏介
  • Organizer: 第65回システム制御情報学会研究発表講演会
• [Presentation] CircadianVisor: Image Presentation with an Optical See-Through Display in Consideration of Circadian Illuminance (2021)
  • Author(s): Takumi Tochimoto, Yuichi Hiroi, Yuta Itoh
  • Organizer: Augmented Humans International Conference
  • Int'l Joint Research