2020 Fiscal Year Annual Research Report
コンピュテーショナル・オプサルモロジー：ARを用いた視覚障害者の視力の適応的増強
| Project/Area Number |
17H00738
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
茅 暁陽 山梨大学, 大学院総合研究部, 教授 (20283195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤代 一成 慶應義塾大学, 理工学部(矢上), 教授 (00181347)
柏木 賢治 山梨大学, 大学院総合研究部, 教授 (30194723)
郷 健太郎 山梨大学, 大学院総合研究部, 教授 (50282009)
豊浦 正広 山梨大学, 大学院総合研究部, 准教授 (80550780)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | 計算眼科学 / 拡張現実 / 視覚補償 |
|---|
| Outline of Annual Research Achievements |
本研究では，外界をセンシングする外向きカメラ，患者の視線を追跡する内向きカメラで構成される入力モジュールから，コア処理モジュールがデータを受け取り,外界情報と主観的意図に基づく視覚強化画像を生成して，Optical/Video See Through Head Mount Display OST/VST-HMD を擁する出力モジュールを介して表示するという適応的処理機構を構築し，色覚異常，視野狭窄及び両眼複視の３つをケーススタディとしてユーザの視覚機能適応的に増強する技術を開発する．令和２年度の実績として，まず色覚異常については，機能が部分的に欠ける異常３色覚異常用のアルゴリズムの実装を完成させ，15名の異なる程度の色覚障がいを持つボランティアの協力を得て，評価実験を通してその有効性を示し，マルチメディア分野のトップ論文誌IEEE Transaction on Visualization and Computer Graphicsに論文を掲載することができた．視野狭窄については，計算基盤を活用しOST－HMDによるリアルタイム情報補償アルゴリズムの検証と改善を行った. 残された視野にOverlaid Overview Window(OOW)を配置し，欠損した視野にある情報を補償する技術をまとめた論文が国際学術誌に掲載された. また，OOWによる視野遮蔽を避けるために開発したEdge Indicatorによる情報補償技術についても評価実験を実施し，成果をまとめた論文が国際会議に採択された．両眼複視については，Video-See-Through HMDを用いた実験環境を構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画通りケーススタディを通して共通基盤の検証と改善を行うことができた．３本の国際学術誌論文と４本の国際会議論文に加えて，色覚異常に対する支援技術に関する論文はマルチメディア分野のトップ論文誌IEEE Transaction on Multimediaに掲載された．
|
| Strategy for Future Research Activity |
本研究の最終年度である令和3年度では，視野狭窄をテストケースとして，適応的処理機構のプロットタイピングを完了させ評価実験を実施する予定である．OST/VST-HMD Hololens2の視線追跡機能を利用し，視線に合わせて見える視野と見えない視野の境界をリアルタイムで算出すると同時にHololens2の外向きカメラを用いて外界のシーンをキャプチャし，シーンの解析結果を研究期間中に開発したEdge Indicator と Overlaid Overview Windowの二つの技術で提示するプロットタイプシステムを完成させる．日常的な生活環境に則した実験タスクを用いて，それぞれの技術の有効性を検証・比較する．また，ユーザにとって軽負担である視野測定方法として，ビデオ映像視聴時の視線を利用した視野予測方法を設計する．一方，両眼複視についてはビデオシースール型 HMD HTC VIVE Pro Eyeを用いて適応表示アルゴリズムの検証と評価を行う．色覚異常については，令和元年度までに開発した自然さ保存とコントラスト強調の両立を可能とするアルゴリズムの高速化を図ると同時に，画像内の対象物を視線情報を用いて特定し，その色情報を自動検出するための深層学習モデルの実装・改善を行い，それを計算基盤上に組み入れ，日常的なコンミュニケーションを支援できるアプリケーションを完成させる．できるだけ多くの色覚障がい者の協力を得て，評価実験を実施し，最後に研究総括としてサーベイ論文を執筆する．
|
Research Products
(13 results)
-
-
-
-
-
-
-
-
-
[Journal Article] Enhancing visual performance of hemianopia patients using overview window2020
Author(s)
Zhao, Xi, Fujishiro, Issei, Go, Kentaro, Toyoura, Masahiro, Kashiwagi, Kenji, Mao, Xiaoyang
-
Journal Title
COMPUTERS & GRAPHICS-UK
Volume: 89
Pages: 59-67
DOI
Peer Reviewed
-
[Journal Article] ALCC-Glasses: Arriving Light Chroma Controllable Optical See-Through Head-Mounted Display System for Color Vision Deficiency Compensation2020
Author(s)
Tang, Ying, Zhu, Zhenyang, Toyoura, Masahiro, Go, Kentaro, Kashiwagi, Kenji, Fujishiro, Issei, Mao, Xiaoyang
-
Journal Title
Applied Sciences
Volume: 10
Pages: 2381
DOI
Peer Reviewed / Open Access
-
-
-
