空中ディスプレイの視認性及び操作性の向上とその基盤となる知覚処理機構に関する研究

2023 年度 実績報告書

• 研究課題/領域番号: 23H03485
• 配分区分: 補助金
• 研究機関: 徳島大学
• 研究代表者: 水科 晴樹 徳島大学, ポストLEDフォトニクス研究所, 講師 (20389224)
• 研究分担者: 山本 健詞 徳島大学, ポストLEDフォトニクス研究所, 教授 (70402469) ; 山内 泰樹 山形大学, 大学院理工学研究科, 教授 (60550994) ; 山本 裕紹 宇都宮大学, 工学部, 教授 (00284315) ; 陶山 史朗 宇都宮大学, オプティクス教育研究センター, 特任教授 (70457331)
• 研究期間 (年度): 2023-04-01 – 2027-03-31
• キーワード: 空中像 / 視認性 / 操作性 / 奥行き知覚 / 視覚メカニズム

研究実績の概要

2023年度は，(1)空中ディスプレイの視認性を高める，と(2)空中ディスプレイの操作性を高める，の2点について，以下の通り研究を実施した．
(1)視認性に関しては，我々のこれまでの研究から，知覚される空中像の奥行き方向の位置が空中像の結像位置から大きくずれる可能性を考慮し，知覚位置の測定実験を行った．先行研究では，視距離が2-3 m程度の場合に，結像位置よりも奥に貼り付いて知覚されるという傾向が見られたが，手を延ばして触れることができる0.5 m程度の短距離でも，空中像が結像位置よりも奥に貼り付く傾向があることが明らかになった．
(2)操作性に関しては，多感覚情報のフィードバックによる操作性の向上と，知覚される位置のずれを考慮したシステムの検証を行った．多感覚フィードバックについては，空中像に触れた瞬間に像の色が反転する（視覚），ビープ音が鳴る（聴覚），足裏のモータが振動する（触覚）の3種類について，各々のフィードバックだけでも操作性の向上に対して効果があるが，それらの組み合わせによりさらに操作性が向上することが明らかになった．視覚・聴覚・触覚の3つのフィードバックがある場合に最も操作性が向上し，感覚間での干渉もほとんどないことが明らかになった．また，空中像に触れる指先以外に対する触覚フィードバックも操作性の向上に対して有効であることが明らかになった．また，(1)で明らかにした知覚位置のずれを考慮し，結像位置からずれた位置でシステムが反応する場合の操作性を調べた．その結果，知覚位置のずれにも関わらず，物理的な結像位置に手を延ばした場合に反応するケースが最も操作しやすいという結果を得た．このことは，人間の脳における知覚と行動の処理経路の乖離を反映しているとも考えられ，今後のさらなる検討が必要である．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

(1)視認性については，空中像の知覚される奥行き位置についてほぼ明らかにすることができたと考える．結像位置よりも奥に知覚されるという傾向は，視距離や被験者によらずかなりロバストであることから，空中ディスプレイの設計で考慮すべき点であると言える．一方，視線の誘導による知覚位置の安定化については着手できなかったが，先行研究の調査により安定化のための方策のアイディアが得られており，2024年度早々に効果を確認する予定である．色の見えのモードの影響については，表面色・開口色モードになる色・輝度条件を明らかにすることにかなりの時間を要し，空中像の奥行きについての実験までは実施できなかったが，こちらも2024年度に実施する予定である．
(2)操作性については，多感覚フィードバックの効果を明らかにすることができたとともに，空中像の知覚位置のずれに操作性が影響されないという点も明らかにすることができ，予想以上の成果を挙げることができたと考える．
以上を総合すると，おおむね順調に進展していると判断できる．

今後の研究の推進方策

今後の研究の推進方策については，当初の計画通りに進める予定である．
(1)視認性に関しては，空中像の視認性及び奥行き知覚に関する検討を引き続き行う．まず，注視点や絵画的要因の影響を明らかにするために，運動視差などの付加的な情報が視認性と奥行き知覚に与える効果を検証する．また，空中像と背景の輝度と色の組み合わせについて，視認性と奥行き知覚に関する検討を行う．これまでに，空中像の色の見えのモードが開口色もしくは表面色になる条件を探索してきており，この結果をもとに研究を進める．さらに，これらで得られた知見をもとに，視認性向上のための空中ディスプレイのパラメータ最適化を目指す．
(2)操作性に関しては，今後はまず視覚情報単体の場合の時間特性の解明を目指す．具体的には，空中像に実際に触れるタイミングと，システムが反応するタイミングのずれがどの程度許容できるのか，また，許容できるのであれば，ずれの有無が操作性にどのように影響するのかを明らかにする．また，(1)の視認性と同様に，空中像に運動視差などの情報を付加した場合に操作性にどのような影響があるかを明らかにする．さらにこれらの知見をもとに，操作性向上のための空中ディスプレイのパラメータ最適化を目指す．
以上で得られた知見を総合して，最終的に空中ディスプレイの知覚処理モデルを構築し，空中像の知覚や空中像に対する行動に関する理論を検討する．

研究成果

• [雑誌論文] Construction of 3D Image and Visibility Improvement of 2D Image Outside 3D Viewing Zone by Edge-Based Depth-Fused 3D Display Using Aerial Image and Rear Display (2024)
  • 著者名/発表者名: Omoto Takahiro、Fujii Kengo、Yasugi Masaki、Suyama Shiro、Yamamoto Hirotsugu
  • 雑誌名: ITE Transactions on Media Technology and Applications 巻: 12 ページ: 36～43
  • DOI: 10.3169/mta.12.36
  • 査読あり
• [雑誌論文] Multiplication of Aerial Images Toward Four Directions Using Non-Parallel Beam Splitters in AIRR (2024)
  • 著者名/発表者名: Kishinami Kohei、Fujii Kengo、Yasugi Masaki、Suyama Shiro、Yamamoto Hirotsugu
  • 雑誌名: ITE Transactions on Media Technology and Applications 巻: 12 ページ: 44～53
  • DOI: 10.3169/mta.12.44
  • 査読あり / オープンアクセス
• [雑誌論文] Evaluation of Depth Perception Characteristics in Plane Fog Screen (2024)
  • 著者名/発表者名: Umemoto Masaki、Mizushina Haruki、Suyama Shiro、Yamamoto Kenji
  • 雑誌名: ITE Transactions on Media Technology and Applications 巻: 12 ページ: 68～77
  • DOI: 10.3169/mta.12.68
  • 査読あり
• [雑誌論文] Aerial display that reconstructs face orientation by use of spatial blending of two face images (2024)
  • 著者名/発表者名: Kishinami Kohei、Sato Keigo、Yasugi Masaki、Suyama Shiro、Yamamoto Hirotsugu
  • 雑誌名: Journal of the Society for Information Display 巻: 32 ページ: 89～99
  • DOI: 10.1002/jsid.1273
  • 査読あり / オープンアクセス
• [雑誌論文] Formulation and evaluation of polarization-modulated triple-view information display with three TN-LCD layers (2024)
  • 著者名/発表者名: Uchida Keitaro、Suyama Shiro、Yamamoto Hirotsugu
  • 雑誌名: Optical Review 巻: － ページ: －
  • DOI: 10.1007/s10043-024-00865-9
  • 査読あり
• [雑誌論文] 10‐2: Line‐Based Modulation Transfer Function Measurement of Aerial Display by Use of Arrayed Optical Elements (2023)
  • 著者名/発表者名: Takiyama Kazuaki、Yasugi Masaki、Suyama Shiro、Masaoka Kenichiro、Yamamoto Hirotsugu
  • 雑誌名: SID Symposium Digest of Technical Papers 巻: 54 ページ: 109～112
  • DOI: 10.1002/sdtp.16500
  • 査読あり
• [雑誌論文] Analysis of floating distance of arc 3D display with respect to inclination angle of substrate (2023)
  • 著者名/発表者名: Oishi Hiroto、Fujii Kengo、Yasugi Masaki、Suyama Shiro、Yamamoto Hirotsugu
  • 雑誌名: Optical Review 巻: 30 ページ: 637～646
  • DOI: 10.1007/s10043-023-00841-9
  • 査読あり
• [雑誌論文] Method of acquiring shapes using motion capture of aerial images formed by large acrylic panels (2023)
  • 著者名/発表者名: Adachi Mayu、Yasugi Masaki、Suyama Shiro、Yamamoto Hirotsugu
  • 雑誌名: Optical Review 巻: 30 ページ: 647～656
  • DOI: 10.1007/s10043-023-00844-6
  • 査読あり
• [雑誌論文] Reducing thickness of long-distance aerial display system in AIRR using Fresnel lens (2023)
  • 著者名/発表者名: Sakane Shinya、Suyama Shiro、Yamamoto Hirotsugu
  • 雑誌名: Optical Review 巻: 30 ページ: 657～663
  • DOI: 10.1007/s10043-023-00845-5
  • 査読あり
• [雑誌論文] Image Switching Methods for an Arc 3D Display Using Projectors and Its Optimal Pixel Structure (2023)
  • 著者名/発表者名: Mizushina Haruki、Taguchi Haruto、Seko Kazuki、Nishiyama Shingo、Suyama Shiro、Yamamoto Kenji
  • 雑誌名: Proc. of IEEE IAS 巻: － ページ: 1～7
  • DOI: 10.1109/IAS54024.2023.10406372
  • 査読あり
• [雑誌論文] Improvement of Perceived Depth Degradation by Motion Parallax in Binocular Stereopsis With Left-Right Retinal Image Mismatch (2023)
  • 著者名/発表者名: Mizushina Haruki、Fukuta Yusuke、Suyama Shiro、Yamamoto Kenji
  • 雑誌名: IEEE Transactions on Industry Applications 巻: 59 ページ: 7813～7821
  • DOI: 10.1109/TIA.2023.3302275
  • 査読あり
• [雑誌論文] Gesture recognition using deep-learning in single-pixel-imaging with high-frame-rate display with latent random dot patterns (2023)
  • 著者名/発表者名: Takatsuka Hiroki、Yasugi Masaki、Suyama Shiro、Yamamoto Hirotsugu
  • 雑誌名: Optical Review 巻: 31 ページ: 116～125
  • DOI: 10.1007/s10043-023-00848-2
  • 査読あり
• [雑誌論文] Evaluation of usability improvement of contactless human interface with visual, auditory, and tactile sensation for aerial display (2023)
  • 著者名/発表者名: Terao Yasunori、Mizushina Haruki、Yamamoto Kenji
  • 雑誌名: Optical Review 巻: 31 ページ: 126～133
  • DOI: 10.1007/s10043-023-00853-5
  • 査読あり
• [雑誌論文] 空中ディスプレイ技術とその知覚認知に関する研究動向 (2023)
  • 著者名/発表者名: 水科 晴樹
  • 雑誌名: 視覚の科学 巻: 44 ページ: 44～48
  • DOI: 10.11432/jpnjvissci.44.44
• [学会発表] Aerial display by use of plane-symmetric real-image forming optics and its modulation transfer function (2024)
  • 著者名/発表者名: Hirotsugu Yamamoto, Kazuaki Takiyama, Kenichiro Masaoka, Shiro Suyama
  • 学会等名: Ultra-High-Definition Imaging Systems VII in SPIE Photonics West 2024
  • 国際学会 / 招待講演
• [学会発表] Principles of Aerial Display and its Applications for AR/VR/MR in Real Space (2024)
  • 著者名/発表者名: Hirotsugu Yamamoto
  • 学会等名: SID UCF Student Chapter Meeting
  • 国際学会 / 招待講演
• [学会発表] 空中ディスプレイ技術の概要と社会実装の動向 (2024)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: 光技術動向調査委員会 特別講演（光産業技術振興協会）
  • 招待講演
• [学会発表] 360度3D像を表示できる線刻型立体方式の提案と製作 (2024)
  • 著者名/発表者名: 川上亜玖吾，奥山大輔，水科晴樹，陶山史朗，山本健詞
  • 学会等名: HODIC学生シンポジウム2024
• [学会発表] 大型平面フォグスクリーンに2次元画像を投影した際に生じる奥行き知覚と臨場感の評価 (2024)
  • 著者名/発表者名: 梅本真己，水科晴樹，山本健詞
  • 学会等名: HODIC学生シンポジウム2024
• [学会発表] 撮影条件によって生じる書き割り効果と運動視差の低減効果との関係の評価 (2024)
  • 著者名/発表者名: 高橋宏輔，水科晴樹，陶山史朗，山本健詞
  • 学会等名: HODIC学生シンポジウム2024
• [学会発表] 空中ディスプレイの概要と応用展望 -次世代インターフェース産業の創出と国際競争力強化に向けて- (2024)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: JEITA 電子ディスプレイ 標準化活動報告会2023
  • 招待講演
• [学会発表] 平面空中像の立体感を向上させるための基礎的な評価 (2024)
  • 著者名/発表者名: 斎藤健太，水科晴樹，山本健詞
  • 学会等名: 日本光学会情報フォトニクス研究グループ第22回関西学生研究論文講演会
• [学会発表] Society5.0に向けて社会実装が加速する空中ディスプレイ技術の動向 (2023)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: Display Vision報告会（一般社団法人 電子情報技術産業協会 ディスプレイデバイス部会 ディスプレイデバイス統括委員会）
  • 招待講演
• [学会発表] 空中ディスプレイの原理と社会実装の最新動向 (2023)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: ビジョンチップ協議会定期セミナー
  • 招待講演
• [学会発表] Glass-Free Non-Contact Augmented Reality Interface With Aerial Imaging by Retro-Reflection (AIRR) (2023)
  • 著者名/発表者名: Hirotsugu Yamamoto
  • 学会等名: DH2023 in Optica Imaging Congress
  • 国際学会 / 招待講演
• [学会発表] Evaluation of appropriate feedbacks on operating aerial display in three senses: Tactile by vibration to sole of foot, visual and auditory (2023)
  • 著者名/発表者名: Yasunori Terao, Haruki Mizushina, Kenji Yamamoto
  • 学会等名: IMID 2023
  • 国際学会
• [学会発表] Increasing vection strength by adding expanding grating at periphery of visual field (2023)
  • 著者名/発表者名: Kohsuke Nakanishi, Haruki Mizushina, Kenji Yamamoto
  • 学会等名: IMID 2023
  • 国際学会
• [学会発表] Motion parallax can improve perceived depth instability in stereo images with left-right size mismatch (2023)
  • 著者名/発表者名: Haruki Mizushina, Yusuke Fukuta, Shiro Suyama, Kenji Yamamoto
  • 学会等名: IMID 2023
  • 国際学会 / 招待講演
• [学会発表] Realization and evaluation of accurate depth perception by stereo DFD (Depth-fused 3D) rendering in multilayer stereo display (2023)
  • 著者名/発表者名: Yuto Morishita, Munekazu Date, Ayumi Matsumoto, Masaki Kitahara, Haruki Mizushina, Shiro Suyama, Kenji Yamamoto
  • 学会等名: IMID 2023
  • 国際学会
• [学会発表] Evaluation of the visual effect of a blur filter on a highly compressed stereo image with a quality difference between the left and right images (2023)
  • 著者名/発表者名: Naoto Nakayama, Haruki Mizushina, Kenji Yamamoto
  • 学会等名: IMID 2023
  • 国際学会
• [学会発表] Principles of Aerial Display and its Applications for AR/VR (2023)
  • 著者名/発表者名: Hirotsugu Yamamoto
  • 学会等名: IMID 2023
  • 国際学会 / 招待講演
• [学会発表] Introduction of Aerial DisplayTechnology - Short presentation and demonstration - (2023)
  • 著者名/発表者名: Hirotsugu Yamamoto, Kohei Kishinami
  • 学会等名: University of Arizona
  • 国際学会 / 招待講演
• [学会発表] リニアブレンディングを用いた多視点DFD(Depth-fused 3D)レンダリング (2023)
  • 著者名/発表者名: 森下雄登, 伊達宗和, 水科晴樹, 陶山史朗, 山本健詞
  • 学会等名: 2023年第3回ホログラフィック・ディスプレイ研究会
• [学会発表] 運動視差による書き割り効果低減において画像切り替え間隔と頭部運動範囲が与える影響 (2023)
  • 著者名/発表者名: 高橋宏輔，水科晴樹，陶山史朗，山本健詞
  • 学会等名: 日本視覚学会2023年夏季大会
• [学会発表] 映像視野周辺部へのランダムドット視覚映像の合成によるベクション強度増大の試み (2023)
  • 著者名/発表者名: 中西康介，水科晴樹，山本健詞
  • 学会等名: 日本視覚学会2023年夏季大会
• [学会発表] ドット群のステレオ画像を用いたセキュリティ表示において視差量とドット密度が覗き見耐性に及ぼす影響 (2023)
  • 著者名/発表者名: 井上瑛人，水科晴樹，山本健詞
  • 学会等名: 第23回情報フォトニクス研究グループ研究会
• [学会発表] バイラテラルフィルターを用いた画質差のあるステレオ画像の評価 (2023)
  • 著者名/発表者名: 中山尚人，水科晴樹，山本健詞
  • 学会等名: 映像情報メディア学会立体メディア技術研究会
• [学会発表] 空中ディスプレイの操作における空中像と多感覚フィードバックの提示位置のずれの影響の評価 (2023)
  • 著者名/発表者名: 寺尾保範，水科晴樹，山本健詞
  • 学会等名: 電子情報通信学会ヒューマン情報処理研究会
• [学会発表] Image switching methods for an arc 3D display using projectors and its optimal pixel structure (2023)
  • 著者名/発表者名: Haruki Mizushina, Haruto Taguchi, Kazuki Seko, Shingo Nishiyama, Shiro Suyama, Kenji Yamamoto
  • 学会等名: 2023 IEEE Industry Applications Society Annual Meeting
  • 国際学会
• [学会発表] 電子部品・デバイス技術が広げる “空中ディスプレイ”の可能性 (2023)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: CEATEC Tech-Hub
  • 招待講演
• [学会発表] 空中ディスプレイ (1) -定義と各種光学系- (2023)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: 光とレーザーの科学技術フェア2023
  • 招待講演
• [学会発表] 空中ディスプレイ (2) -社会実装の動向- (2023)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: 光とレーザーの科学技術フェア2023
  • 招待講演
• [学会発表] 空中ディスプレイの基礎/技術のポイントおよび最新動向 (2023)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: Sumken技術セミナー
  • 招待講演
• [学会発表] 円錐形アーク3D表示における視点位置に対応した異なる3D像の表示 (2023)
  • 著者名/発表者名: 川上亜玖吾，奥山大輔，水科晴樹，陶山史朗，山本健詞
  • 学会等名: Optics & Photonics Japan 2023
• [学会発表] Effects of motion parallax smoothness and head moving range on reduction of the cardboard effect (2023)
  • 著者名/発表者名: Kosuke Takahashi, Haruki Mizushina, Shiro Suyama, Kenji Yamamoto
  • 学会等名: IDW '23/3DSA 2023
  • 国際学会
• [学会発表] Multi-view DFD (Depth-Fused 3D) rendering with linear blending (2023)
  • 著者名/発表者名: Yuto Morishita, Munekazu Date, Haruki Mizushina, Shiro Suyama, Kenji Yamamoto
  • 学会等名: IDW '23/3DSA 2023
  • 国際学会
• [学会発表] Evaluation on usability of aerial display by changing the timing of providing multimodal feedback (2023)
  • 著者名/発表者名: Yasunori Terao, Haruki Mizushina, Kenji Yamamoto
  • 学会等名: IDW '23/3DSA 2023
  • 国際学会
• [学会発表] Increasing vection strength by adding optical flow with random dots in the peripheral visual field (2023)
  • 著者名/発表者名: Kosuke Nakanishi, Haruki Mizushina, Kenji Yamamoto
  • 学会等名: IDW '23/3DSA 2023
  • 国際学会
• [学会発表] Emergency-drill online visual system to build ability against unexpected situations (2023)
  • 著者名/発表者名: Kyosuke Takahashi, Akua Kawakami, Masaki Umemoto, Kousuke Takahashi, Yuuya Sasai, Yasunori Terao, Kousuke Nakanishi, Naoto Nakayama, Yuuto Morishita, Akito Inoue, Shuto Ogura, Kenta Saito, Yuta Machigashira, Kotomi Nakanishi, Haruki Mizushina, Kenji Yamamoto, Hitoshi Inomo
  • 学会等名: IDW '23/3DSA 2023
  • 国際学会
• [学会発表] Emergency-drill scenarios to build ability against unexpected situations on tsunami (2023)
  • 著者名/発表者名: Kenji Yamamoto, Masaki Umemoto, Akua Kawakami, Kousuke Takahashi, Yuuya Sasai, Yasunori Terao, Kousuke Nakanishi, Naoto Nakayama, Yuuto Morishita, Akito Inoue, Shuto Ogura, Kenta Saito, Yuta Machigashira, Kotomi Nakanishi, Kyosuke Takahashi, Hitoshi Inomo, Haruki Mizushina
  • 学会等名: IDW '23/3DSA 2023
  • 国際学会
• [学会発表] Emergency drill using online visual system (2023)
  • 著者名/発表者名: Hitoshi Inomo, Akua Kawakami, Masaki Umemoto, Kousuke Takahashi, Yuuya Sasai, Yasunori Terao, Kousuke Nakanishi, Naoto Nakayama, Yuuto Morishita, Akito Inoue, Shuto Ogura, Kenta Saito, Yuta Machigashira, Kotomi Nakanishi, Kyosuke Takahashi, Haruki Mizushina, Kenji Yamamoto
  • 学会等名: IDW '23/3DSA 2023
  • 国際学会
• [学会発表] Encoding of Stereo Images Using Bilateral Filters and Different Compression Ratio for Limited Communication Bandwidth (2023)
  • 著者名/発表者名: Naoto Nakayama, Haruki Mizushina, Kenji Yamamoto
  • 学会等名: IDW '23/3DSA 2023
  • 国際学会
• [学会発表] Aquatic Display That Forms a Real Image in Water (2023)
  • 著者名/発表者名: Hirotsugu Yamamoto
  • 学会等名: DHIP2023
  • 国際学会 / 招待講演
• [学会発表] 空中ディスプレイの基礎と応用展開 -光学系の考え方・最新動向から今後要求される素材まで- (2023)
  • 著者名/発表者名: 山本裕紹
  • 学会等名: ナノ構造ポリマー研究協会
  • 招待講演