人間機械融合視覚による質感認識能力拡張

• Project Area: Analysis and synthesis of deep SHITSUKAN information in the real world
• Project/Area Number: 20H05958
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Osaka University
• Principal Investigator: 岩井 大輔 大阪大学, 大学院基礎工学研究科, 准教授 (90504837)
• Co-Investigator(Kenkyū-buntansha): 伊藤 勇太 東京大学, 大学院情報学環・学際情報学府, 特任准教授 (10781362)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥101,140,000 (Direct Cost: ¥77,800,000、Indirect Cost: ¥23,340,000); Fiscal Year 2024: ¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000); Fiscal Year 2023: ¥19,760,000 (Direct Cost: ¥15,200,000、Indirect Cost: ¥4,560,000); Fiscal Year 2022: ¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000); Fiscal Year 2021: ¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000); Fiscal Year 2020: ¥27,170,000 (Direct Cost: ¥20,900,000、Indirect Cost: ¥6,270,000)
• Keywords: 拡張現実感 / 人間拡張 / 光学シースルーHMD / プロジェクションマッピング / 質感の科学

Outline of Research at the Start

人の視覚に機械視覚を融合することで、人間の質感認識能力を飛躍的に向上させることを目標とする。機械視覚は、人の視覚よりもはるかに高い時空間・波長解像度で光の伝播を捉え、実物から放射される光線場を精緻に分解できる。そこで本研究では、機械視覚が捉える質感情報を人の知覚できる形に変換して視界に与え、人の外界モデルをアップデートすることで、深奥質感の生成に迫る。具体的には、実物から放射される光線場を、人間の目に届く直前で直接操作する装着デバイス（光変調眼鏡）を開発し、それによって人の質感認識能力を向上させることができるか、を明らかにする。

Outline of Annual Research Achievements

本年度は、（１）実物反射光から直接・間接反射成分を分離しそれを人の視界に直接与えることのできる質感分離スコープの性能評価、（２）高い空間周波数の質感情報を提示できるプロジェクションマッピングシステムの構築、および（３）不可視情報を計測して光学シースルーディスプレイで現実空間に重畳する質感提示技術の構築を、当初の目標としていた。
（研究項目１）提案する光学的アプローチによる直接・間接反射成分分離の性能を、従来の計算機演算による手法の分離結果との比較により、質感分離スコープの性能評価を行った。その結果、従来手法と同等の分離結果を得ることができていることを確認した。
（研究項目２）高解像度ディスプレイを備えるiPad Pro (264 ppi) と同等の262 ppiで映像投影できるシステムを構築した。このシステムを用い、テニスボールのテクスチャを白色球に投影し、iPad Proに表示したテニスボールの写真と、実際のテニスボールをそれぞれ隣に設置して、被験者実験によりその画質を評価した。その結果、ふさふさ感、自然さ、実在感といった項目で、提案システムの方がiPadのディスプレイよりも有意に実物のテニスボールに近い像を提示できていることが確認できた。
（研究項目３）シュリーレン撮影した空気の流れ場の情報を用いて、ARコンテンツとインタラクションするシステムの構築に成功した。
これらに加え、深層ニューラルネットワークを用いた質感ディスプレイ基盤技術開発で大きな進展があった。具体的には、プロジェクションマッピングにおける焦点ボケ補償、光学シースルーディスプレイの歪み校正、3D印刷の内部構造最適化に関して、それぞれ研究成果が主要な国際論文誌に掲載された。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度の三つの当初目標それぞれについての進捗状況は以下の通りである。
（研究項目１）従来法との比較により、分離性能の性能評価を行った。一方、交付申請では被験者実験による評価を目的としており、この点については未達である。この研究成果については、仮想現実感に関する主要な国際会議IEEE Conference on Virtual Reality and 3D User Interfacesにてポスター発表した。
（研究項目２）空間的に高解像度でプロジェクションマッピングするシステムの開発に成功し、高解像度な平面ディスプレイでの質感提示と比較して、より実物に近い質感が提示できることが示唆された。国内会議にて口頭発表を実施した。
（研究項目３）空気の流れ場を計測してARシステムに組み込んだ世界初の例として、拡張現実感に関する主要な国際会議IEEE International Symposium on Mixed and Augmented Realityにて口頭発表した。
上記に加え、プロジェクションマッピングおよびデジタルファブリケーション技術を用いた質感提示に関する研究が進み、難関国際会議での口頭発表に選抜されたり、Best Poster Honorable Mentionを受賞するなど、各成果が国際的に高い評価を受けた。また、研究代表者が日本学術振興会賞を受賞した。
全体として、研究がおおむね順調に進展した、と考えている。

Strategy for Future Research Activity

本年度の結果をうけて、代表者、分担者は以下のように研究を推進することとする。
【代表者】質感分離スコープについて、視野全体ではなく、ユーザが指定する一部の領域のみ分離して提示する拡張現実感システムを構築する。また、投影対象面を振動させることで提示する毛質感を向上させる試みを行う。さらに、ユーザが任意の質感語をテキスト入力すると、それに合わせて投影コンテンツが切り替わるプロジェクションマッピングシステムの構築を行う。
【分担者】光学シースルーディスプレイに関して、実シーンを完全に遮蔽できないという技術的制約を解消する、新たな遮蔽マスク技術の開発を行う。

Research Products

• [Int'l Joint Research] Tel Aviv University(イスラエル)
• [Journal Article] Neural distortion fields for spatial calibration of wide field-of-view near-eye displays (2022)
  • Author(s): Yuichi Hiroi, Kiyosato Someya, Yuta Itoh
  • Journal Title: Optics Express Volume: 30 Issue: 22 Pages: 40628-40628
  • DOI: 10.1364/oe.472288
  • Peer Reviewed / Open Access
• [Journal Article] Online Projector Deblurring Using a Convolutional Neural Network (2022)
  • Author(s): Yuta Kageyama, Daisuke Iwai, Kosuke Sato
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 28 Issue: 5 Pages: 2223-2233
  • DOI: 10.1109/tvcg.2022.3150465
  • Peer Reviewed / Open Access
• [Journal Article] NSTO: Neural Synthesizing Topology Optimization for Modulated Structure Generation (2022)
  • Author(s): Shengze Zhong, Parinya Punpongsanon, Daisuke Iwai, Kosuke Sato
  • Journal Title: Computer Graphics Forum Volume: 41 Issue: 7 Pages: 553-566
  • DOI: 10.1111/cgf.14700
  • Peer Reviewed
• [Journal Article] SoftPrint: Investigating Haptic Softness Perception of 3D Printed Soft Object in FDM 3D Printers (2021)
  • Author(s): Motoki Miyoshi, Parinya Punpongsanon, Daisuke Iwai, Kosuke Sato
  • Journal Title: Journal of Imaging Science and Technology Volume: 65 Issue: 4 Pages: 040406-1-040406-8
  • DOI: 10.2352/j.imagingsci.technol.2021.65.4.040406
  • Peer Reviewed / Open Access
• [Journal Article] Multifocal Stereoscopic Projection Mapping (2021)
  • Author(s): Sorashi Kimura. Daisuke Iwai. Parinya Punpongsanon. Kosuke Sato
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 27 Issue: 11 Pages: 4256-4266
  • DOI: 10.1109/tvcg.2021.3106486
  • Peer Reviewed
• [Presentation] A Compact Photochromic Occlusion Capable See-through Display with Holographic Lenses (2023)
  • Author(s): Chun-Wei Ooi, Yuichi Hiroi, Yuta Itoh
  • Organizer: IEEE Conference Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] A High-Dynamic-Range Mesh Screen VR Display by Combining Frontal Projection and Retinal Projection (2023)
  • Author(s): Kazushi Kinjo, Daisuke Iwai, Kosuke Sato
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] Optical See-through Scope for Observing the Global Component of a Scene (2023)
  • Author(s): Yoshiaki Makita, Daisuke Iwai, Kosuke Sato
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] Projection Mapping in the Light: A Preliminary Attempt to Substitute Projectors for Room Lights (2023)
  • Author(s): Masaki Takeuchi, Daisuke Iwai, Kosuke Sato
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] イベントカメラを用いたレーザスペックル振動計測による遠隔触覚拡張 (2023)
  • Author(s): 岡本祥宏, 佐藤優志, 岩井大輔, 佐藤宏介
  • Organizer: 情報処理学会インタラクション2023
• [Presentation] 柔らかい食品上への情報埋め込み (2023)
  • Author(s): 松田綾美, パリンヤ プンポンサノン, 岩井大輔, 佐藤宏介
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] Towards Spatial Airflow Interaction: Schlieren Imaging for Augmented Reality (2022)
  • Author(s): Zhang Zhibin, Yuichi Hiroi, Yuta Itoh
  • Organizer: IEEE International Symposium on Mixed and Augmented Reality
  • Int'l Joint Research
• [Presentation] NeARportation: A Remote Real-time Neural Rendering Framework (2022)
  • Author(s): Yuichi Hiroi, Yuta Itoh, Jun Rekimoto
  • Organizer: ACM Symposium on Virtual Reality Software and Technology
  • Int'l Joint Research
• [Presentation] interiqr: Unobtrusive Edible Tags using Food 3D Printing (2022)
  • Author(s): Yamato Miyatake, Parinya Punpongsanon, Daisuke Iwai, Kosuke Sato
  • Organizer: ACM Symposium on User Interface Software and Technology
  • Int'l Joint Research
• [Presentation] Demonstration of interiqr: Unobtrusive Edible Tags using Food 3D Printing (2022)
  • Author(s): Parinya Punpongsanon, Yamato Miyatake, Daisuke Iwai, Kosuke Sato
  • Organizer: ACM Symposium on User Interface Software and Technology
  • Int'l Joint Research
• [Presentation] 前面投影と網膜投影とを重畳呈示するメッシュスクリーン型プロジェクションマッピング (2022)
  • Author(s): 金城和志, 岩井大輔, 佐藤宏介
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 環境照明再現により投影テクスチャのコントラスト低下を抑制するプロジェクションマッピング (2022)
  • Author(s): 竹内正稀, 岩井大輔, 佐藤宏介
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 多方向重畳プロジェクションマッピングによる質感編集 (2022)
  • Author(s): 岡本峻宙, 岩井大輔, 佐藤宏介
  • Organizer: 第66回システム制御情報学会研究発表講演会
• [Presentation] 高画素密度プロジェクションマッピングによる微細な質感編集 (2022)
  • Author(s): 谷育歩, 山本健太, 影山雄太, 岩井大輔, 佐藤宏介
  • Organizer: 第66回システム制御情報学会研究発表講演会
• [Presentation] フォーカルサーフェス投影によるプロジェクタの被写界深度拡張 (2022)
  • Author(s): 上田史貴, 山本健太, 影山雄太, 岩井大輔, 佐藤宏介
  • Organizer: 第66回システム制御情報学会研究発表講演会
• [Presentation] 多焦点型立体プロジェクションマッピング (2022)
  • Author(s): 岩井大輔
  • Organizer: 第21回情報科学技術フォーラム
  • Invited
• [Presentation] プロジェクションマッピングによる実物の質感操作 (2022)
  • Author(s): 岩井大輔
  • Organizer: 照明学会全国大会
  • Invited
• [Presentation] Projection Mapping Technologies for Permeation of Digital Controllability into the Physical World (2022)
  • Author(s): Daisuke Iwai
  • Organizer: International Conference on Artificial Reality and Telexistence & Eurographics Symposium on Virtual Environments
  • Int'l Joint Research / Invited
• [Presentation] Multifocal Stereoscopic Projection Mapping (2022)
  • Author(s): Daisuke Iwai
  • Organizer: ACM SIGGRAPH ASIA 2022
  • Int'l Joint Research / Invited
• [Presentation] 光学シースルーディスプレイによる質感再現に向けて (2022)
  • Author(s): 伊藤勇太
  • Organizer: 第20回関東光若手研究会
  • Invited
• [Presentation] 空間光変調による拡張現実感技術の未来 (2022)
  • Author(s): 伊藤勇太
  • Organizer: プロジェクションディスプレイ先進技術研究会2022
  • Invited
• [Presentation] サーモクロミック材と情報コードをRGB-Cストライプ構造化した表面色制御 (2022)
  • Author(s): 堀 悠太郎, プンポンサノン パリンヤ, 岩井 大輔, 佐藤 宏介
  • Organizer: 情報処理学会第84回全国大会
• [Presentation] 3Dプリント食品内部への情報埋め込み (2022)
  • Author(s): 宮武 大和, プンポンサノン パリンヤ, 岩井 大輔, 佐藤 宏介
  • Organizer: 情報処理学会第84回全国大会
• [Presentation] 光技術のプロジェクションマッピング応用 (2022)
  • Author(s): 岩井 大輔
  • Organizer: 電子情報通信学会総合大会
  • Invited
• [Presentation] Blending Shadows: Casting Shadows in Virtual and Real using Occlusion-Capable Augmented Reality Near-Eye Displays (2021)
  • Author(s): Kiyosato Someya, Yuta Itoh
  • Organizer: IEEE International Symposium on Mixed and Augmented Reality
  • Int'l Joint Research
• [Presentation] 光学シースルー型大域反射成分観察スコープにおける投影パタンの検討 (2021)
  • Author(s): 牧田 整明, 岩井 大輔, 佐藤 宏介
  • Organizer: 第26回日本バーチャルリアリティ学会大会
• [Presentation] 単一レンズ型同軸広角プロジェクタ-カメラシステムによる動的プロジェクションマッピングの基礎検討 (2021)
  • Author(s): 山本 健太, 岩井 大輔, 佐藤 宏介
  • Organizer: 第26回日本バーチャルリアリティ学会大会
• [Presentation] 3次元対象へのプロジェクションマッピングにおける画質劣化抑制技術 (2021)
  • Author(s): 岩井 大輔
  • Organizer: 精密工学会 画像応用技術専門委員会 第3回定例研究会
  • Invited
• [Presentation] CNNを用いた動的環境下での投影ボケ補償 (2021)
  • Author(s): 影山 雄太, 岩井 大輔, 佐藤 宏介
  • Organizer: 第24回 画像の認識・理解シンポジウム
• [Presentation] 光学シースルー型大域反射成分観測スコープの構築 (2021)
  • Author(s): 牧田 整明, 岩井 大輔, 佐藤 宏介
  • Organizer: 第65回システム制御情報学会研究発表講演会
• [Presentation] CircadianVisor: Image Presentation with an Optical See-Through Display in Consideration of Circadian Illuminance (2021)
  • Author(s): Takumi Tochimoto, Yuichi Hiroi, Yuta Itoh
  • Organizer: Augmented Humans International Conference
  • Int'l Joint Research