• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

ヘッドマウントディスプレイを用いた視知覚矯正・補助フレームワークの構築

Research Project

Project/Area Number 18H04116
Research InstitutionNara Institute of Science and Technology

Principal Investigator

清川 清  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)

Co-Investigator(Kenkyū-buntansha) 酒田 信親  奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (40452411)
河合 紀彦  奈良先端科学技術大学院大学, 先端科学技術研究科, 客員准教授 (30610670)
佐藤 智和  滋賀大学, データサイエンス学部, 教授 (50362835)
不二門 尚  大阪大学, 生命機能研究科, 特任教授 (50243233)
森本 壮  大阪大学, 医学系研究科, 寄附講座准教授 (00530198)
広田 雅和  帝京大学, 医療技術学部, 助教 (40835435)
長井 志江  東京大学, ニューロインテリジェンス国際研究機構, 特任教授 (30571632)
Project Period (FY) 2018-04-01 – 2022-03-31
Keywords視覚拡張 / 視覚矯正 / 視覚補助
Outline of Annual Research Achievements

・網羅的・統一的に視覚拡張(AV: augmented vision)の方法論を確立するために,視知覚のプロセスをデジタル画像処理における射影変換や時空間画像フィルタのアナロジーで捉え,その逆問題を解く計算論的アプローチにより,汎用的な枠組みで典型的な非定型視知覚の体験者に定型と等価な視知覚を生じさせること(視覚矯正・補助)を目指しています.平成31年度(令和元年度)は,以下の研究に取り組みました.
・視覚拡張ディスプレイの開発に関して,将来のスマートサングラスの実現に向けて,楕円ミラーを組み合わせた,画素単位で減光可能な超広視野光学透過型(OST)HMDの詳細設計を行いました(学会発表,特許出願済).また,LCDを用いた簡易スマートサングラスの試作を進めました.
・ディスプレイ視聴と斜視の関係性評価に関して,デジタルデバイスなどの近業作業時の近見3反応(調節、眼位、縮瞳)の変化を経時的に評価して,間欠性外斜視では近見時の調節力が低下し,それが眼精疲労の原因となることを見出しました.間欠性外斜視患者は同一の視作業を実施すると健常者よりも眼疲労を起こしやすいことを,眼球運動を基礎とした融像維持能力測定法を用いて,他覚的定量評価しました.更に,近年増加傾向にあるスマートフォン起因性内斜視 (スマホ内斜視) の原因が,スマートフォンの視聴距離に関連する可能性を示唆する研究結果を公表しました.
・ASDの知覚機序解明に関して,ASD者の知覚過敏・鈍麻を引き起こす神経機序を解明するため,(1) 深層ニューラルネットワークを用いた視覚過敏の発生機序のモデル化と予備実験,(2) 視覚過敏特性と聴覚過敏特性の比較検証,の2つの課題に取り組みました.(2)では感覚様式に依存しない共通の過敏特性及びその誘発環境要因が存在することを明らかにしました.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

・視覚拡張ディスプレイの開発に関して,将来のスマートサングラスの実現に向けて,楕円ミラーを組み合わせた,画素単位で減光可能な超広視野光学透過型(OST)HMDの詳細設計を行いました(学会発表,特許出願済).また,放物ミラーを用いた方式の詳細設計も行いました.これらのディスプレイの特性である180度に近い超広視野と画素単位の減光は従来両立が困難とされていたもので,画期的な成果です.すでにトップカンファレンスでの発表と国内特許出願を終え,国外特許の取得を目指しています.また,LCDを用いた簡易スマートサングラスの試作を進めており,機械学習による適応的な減光機能の開発に着手しています.
・ディスプレイ視聴と斜視の関係性評価に関して,デジタルデバイスなどの近業作業時の近見3反応の変化を経時的に評価して,間欠性外斜視では近見時の調節力が低下し,それが眼精疲労の原因となることを見出しました.間欠性外斜視患者は同一の視作業を実施すると健常者よりも眼疲労を起こしやすいことを,眼球運動を基礎とした融像維持能力測定法を用いて,他覚的定量評価しました.更に,近年増加傾向にあるスマートフォン起因性内斜視 (スマホ内斜視) の原因が,視聴距離に関連する可能性を示唆する研究結果を公表しました.
・ASDの知覚機序解明に関して,ASD者の知覚過敏・鈍麻を引き起こす神経機序を解明するため,(1) 深層ニューラルネットワークを用いた視覚過敏の発生機序のモデル化と予備実験,(2) 視覚過敏特性と聴覚過敏特性の比較検証,の2つの課題に取り組みました.(2)では感覚様式に依存しない共通の過敏特性及びその誘発環境要因が存在することを明らかにしました.
・これらの成果は,当初計画に含まれていないものもあり,発展的な課題といえます.一方,視線計測を用いた実時間補正などは未着手で,総じて「おおむね順調」といえます.

Strategy for Future Research Activity

眼位矯正HMDの開発と評価に関して,これまでに開発した眼位を調整可能なビデオ透過型(VST)HMDの効果を検証します.また,その結果に基づき眼位を調整したVSTHMDにより,融像が復元することを確認します.具体的には,ヘスチャートプロジェクタによる眼位検査法とHMDによる眼位検査法の精度を比較し,同等以上の検査精度が得られることを客観的に示します.年度後半は高性能視線検出機能を有するVST-HMDを用いて,眼位の計測と矯正の自動化を試みます.

視覚過敏補助HMD(スマートサングラス)の開発と評価に関して,不快な視覚体験を生じないような入力ビデオ映像のリアルタイム調整に取り組みます.具体的には,シーンの明るさ分布に応じたノンリニアな減光や彩度低減,蛍光灯などの高周波明滅の時間平均化(チラツキ緩和),注視点からの偏位角に応じたローパスフィルタ(周辺あるいは中心視野ほど細かいパタンを不鮮明化),動物体領域のみの不鮮明化やストップモーション化(コマ落ち)などを検討します.まず,モニタを用いた自動調整の効果を検証し,VST-HMDによる効果の確認にも取り組みます.

斜視やASD知覚のメカニズムの解明に関しては,当初予定以上に進展しており,引き続き発展的課題に取り組んで行きます.

  • Research Products

    (36 results)

All 2021 2020 2019 Other

All Int'l Joint Research (3 results) Journal Article (12 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 9 results,  Open Access: 2 results) Presentation (20 results) (of which Int'l Joint Research: 7 results,  Invited: 11 results) Patent(Industrial Property Rights) (1 results)

  • [Int'l Joint Research] ボン・ライン・ジーク応用科学大学(ドイツ)

    • Country Name
      GERMANY
    • Counterpart Institution
      ボン・ライン・ジーク応用科学大学
  • [Int'l Joint Research] オタゴ大学(ニュージーランド)

    • Country Name
      NEW ZEALAND
    • Counterpart Institution
      オタゴ大学
  • [Int'l Joint Research] グラーツ工科大学(オーストリア)

    • Country Name
      AUSTRIA
    • Counterpart Institution
      グラーツ工科大学
  • [Journal Article] Computational Phase-Modulated Eyeglasses2021

    • Author(s)
      Itoh Yuta、Langlotz Tobias、Zollmann Stefanie、Iwai Daisuke、Kiyoshi Kiyokawa、Amano Toshiyuki
    • Journal Title

      IEEE Transactions on Visualization and Computer Graphics

      Volume: 27 Pages: 1916~1928

    • DOI

      10.1109/TVCG.2019.2947038

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Effects of Throughput Delay on Perception of Robot Teleoperation and Head Control Precision in Remote Monitoring Tasks2020

    • Author(s)
      Orlosky Jason、Theofilis Konstantinos、Kiyokawa Kiyoshi、Nagai Yukie
    • Journal Title

      PRESENCE: Virtual and Augmented Reality

      Volume: 27 Pages: 226~241

    • DOI

      10.1162/pres_a_00328

    • Peer Reviewed
  • [Journal Article] Insufcient accommodation during binocular near viewing in eyes with intermittent exotropia2020

    • Author(s)
      Takeshi Morimoto, Hiroyuki Kanda, Masakazu Hirota, Kohji Nishida, and Takashi Fujikado
    • Journal Title

      Japanese Journal of Ophthalmology

      Volume: 64 Pages: 77~85

    • DOI

      10.1007/s10384-019-00695-2

    • Peer Reviewed
  • [Journal Article] Objective evaluation of visual fatigue in patients with intermittent exotropia2020

    • Author(s)
      Hirota Masakazu、Yada Kozue、Morimoto Takeshi、Endo Takao、Miyoshi Tomomitsu、Miyagawa Suguru、Hirohara Yoko、Yamaguchi Tatsuo、Saika Makoto、Fujikado Takashi
    • Journal Title

      PLOS ONE

      Volume: 15 Pages: e0230788

    • DOI

      10.1371/journal.pone.0230788

    • Peer Reviewed
  • [Journal Article] AR用ヘッドマウントディスプレイの動向と視覚拡張への応用2019

    • Author(s)
      清川 清
    • Journal Title

      電子情報通信学会論文誌 C

      Volume: Vol.J102-C Pages: 170~178

    • Peer Reviewed / Open Access
  • [Journal Article] Light Attenuation Display: Subtractive See-Through Near-Eye Display via Spatial Color Filtering2019

    • Author(s)
      Itoh Yuta、Langlotz Tobias、Iwai Daisuke、Kiyokawa Kiyoshi、Amano Toshiyuki
    • Journal Title

      IEEE Transactions on Visualization and Computer Graphics

      Volume: 25 Pages: 1951~1960

    • DOI

      10.1109/TVCG.2019.2899229

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] ウェアラブルディスプレイの進化と未来2019

    • Author(s)
      清川 清
    • Journal Title

      電気評論

      Volume: 104 Pages: 18~22

  • [Journal Article] 視覚の解放にむけて2019

    • Author(s)
      清川 清
    • Journal Title

      日本バーチャルリアリティ学会誌

      Volume: 24 Pages: 7~11

  • [Journal Article] Binocular Coordination during Smartphone Reading in Esophoric Patients2019

    • Author(s)
      Hirota Masakazu、Morimoto Takeshi、Miyoshi Tomomitsu、Fujikado Takashi
    • Journal Title

      Journal of Binocular Vision and Ocular Motility

      Volume: 70 Pages: 15~20

    • DOI

      10.1080/2576117X.2019.1690349

    • Peer Reviewed
  • [Journal Article] 視覚補助デバイス OrCam MyEye 2 の性能評価2019

    • Author(s)
      広田 雅和, 森本 壮, 阿曽沼 早苗, 三好 智満, 不二門 尚
    • Journal Title

      日本ロービジョン学会誌

      Volume: 18 Pages: 1~8

    • Peer Reviewed
  • [Journal Article] 融像維持能力を用いた不等像視による眼疲労の他覚的評価2019

    • Author(s)
      中道 彩乃, 広田 雅和, 神田 寛行, 森本 壮, 三好 智満, 宮川 雄, 広原 陽子, 山口 達夫, 雜賀 誠, 不二門 尚, 西田 幸二
    • Journal Title

      眼科臨床紀要

      Volume: 12 Pages: 293~297

  • [Journal Article] Lesser suppression of response to bright visual stimuli and visual abnormality in children with autism spectrum disorder: a magnetoencephalographic study2019

    • Author(s)
      Sho Aoki, Kuriko Kagitani-Shimono, Junko Matsuzaki, Ryuzo Hanaie, Mariko Nakanishi, Koji Tominaga, Yukie Nagai, Ikuko Mohri, and Masako Taniike
    • Journal Title

      Journal of Neurodevelopmental Disorders volume

      Volume: 11 Pages: 1~13

    • Peer Reviewed / Open Access
  • [Presentation] 視覚障害者のための買い物支援システムの開発2020

    • Author(s)
      大久保 達矢, 磯山 直也, 酒田 信親, 清川 清
    • Organizer
      日本バーチャルリアリティ学会複合現実感研究会
  • [Presentation] Typical and Atypical Consciousness Based on Predictive Coding2020

    • Author(s)
      Yukie Nagai
    • Organizer
      Consciousness Club
    • Int'l Joint Research / Invited
  • [Presentation] Augmented Concentration: Concentration Improvement by Visual Noise Reduction with a Video See-Through HMD2019

    • Author(s)
      Masaki Koshi, Nobuchika Sakata, and Kiyoshi Kiyokawa
    • Organizer
      IEEE Virtual Reality and 3D User Interfaces 2019
    • Int'l Joint Research
  • [Presentation] Visualization-Guided Attention Direction in Dynamic Control Tasks2019

    • Author(s)
      Jason Orlosky, Chang Liu, Denis Kalkofen, and Kiyoshi Kiyokawa
    • Organizer
      IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2019
    • Int'l Joint Research
  • [Presentation] Design and Prototyping of Wide FIeld of View Optical See-through Head-Mounted Displays with Per-pixel Occlusion Capability2019

    • Author(s)
      Yan Zhang, Kiyoshi Kiyokawa, Naoya Isoyama, and Nobuchika Sakata
    • Organizer
      IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2019
    • Int'l Joint Research
  • [Presentation] 視覚障害者のための買い物支援システムの提案2019

    • Author(s)
      大久保 達矢, 酒田 信親, 清川 清
    • Organizer
      第63回システム制御情報学会研究発表講演会
  • [Presentation] HMDを用いた視機能検査・矯正システムの可能性2019

    • Author(s)
      清川 清
    • Organizer
      第63回システム制御情報学会研究発表講演会
  • [Presentation] バーチャル空間における解像度制御を用いた視線誘導手法の提案2019

    • Author(s)
      横見 栄聡, 大久保 雅史, 磯山 直也, 酒田 信親, 清川 清
    • Organizer
      第24回日本バーチャルリアリティ学会大会
  • [Presentation] 周辺視野のみへの情報提示の基礎的検討2019

    • Author(s)
      喜多山 湧也, 磯山 直也, 酒田 信親, 清川 清
    • Organizer
      情報処理学会研究報告(エンタテインメントコンピューティング研究会)
  • [Presentation] VR/AR用HMDの現状と未来2019

    • Author(s)
      清川 清
    • Organizer
      OPIE'19 レンズ設計・製造展
    • Invited
  • [Presentation] Light Attenuation Display: Subtractive See-Through Near-Eye Display via Spatial Color Filtering2019

    • Author(s)
      Yuta Itoh, Tobias Langlotz, Daisuke Iwai, Toshiyuki Amano, and Kiyoshi Kiyokawa
    • Organizer
      第22回 画像の認識・理解シンポジウム (MIRU2019)
    • Invited
  • [Presentation] VR/AR用HMDの現状と未来2019

    • Author(s)
      清川 清
    • Organizer
      第19回高機能膜フォーラム
    • Invited
  • [Presentation] サイバネティクス・リアリティ2019

    • Author(s)
      清川 清
    • Organizer
      電気三学会関西支部 専門講習会
    • Invited
  • [Presentation] Redesigning Vision in the Era of Artificial Intelligence2019

    • Author(s)
      Kiyoshi Kiyokawa
    • Organizer
      World Conference on VR Industry 2019
    • Int'l Joint Research / Invited
  • [Presentation] 人生を変えるVR/MR技術2019

    • Author(s)
      清川 清
    • Organizer
      画像関連学会連合会秋季大会
    • Invited
  • [Presentation] AR/VR技術の基礎,現状,展望2019

    • Author(s)
      清川 清
    • Organizer
      S&T出版セミナー
    • Invited
  • [Presentation] ヘッドマウントディスプレイ(HMD)の基礎、研究開発動向と今後の展望2019

    • Author(s)
      清川 清
    • Organizer
      サイエンス&テクノロジー技術セミナー
    • Invited
  • [Presentation] バーチャルリアリティと基礎心理学2019

    • Author(s)
      清川 清
    • Organizer
      日本基礎心理学会第38回大会
    • Invited
  • [Presentation] Atypical Auditory Perception in Autism Spectrum Disorder: A Synthetic Approach to Evaluate the Perceptual Patterns and Environmental Causes2019

    • Author(s)
      Jyh-Jong Hsieh, Yukie Nagai, Shinichiro Kumagaya, Satsuki Ayaya, and Minoru Asada
    • Organizer
      International Society for Autism Research Annual Meeting
    • Int'l Joint Research
  • [Presentation] AI that simulates and assists people with autism spectrum disorder2019

    • Author(s)
      Yukie Nagai
    • Organizer
      Nature Conference on AI & Robotics
    • Int'l Joint Research / Invited
  • [Patent(Industrial Property Rights)] シースルー型ディスプレイ装置2019

    • Inventor(s)
      張言,清川清,酒田 信親,
    • Industrial Property Rights Holder
      張言,清川清,酒田 信親,
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2019-188256

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi