2019 Fiscal Year Annual Research Report
コンピュテーショナル・オプサルモロジー：ARを用いた視覚障害者の視力の適応的増強
| Project/Area Number |
17H00738
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
茅 暁陽 山梨大学, 大学院総合研究部, 教授 (20283195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤代 一成 慶應義塾大学, 理工学部(矢上), 教授 (00181347)
柏木 賢治 山梨大学, 大学院総合研究部, 教授 (30194723)
郷 健太郎 山梨大学, 大学院総合研究部, 教授 (50282009)
豊浦 正広 山梨大学, 大学院総合研究部, 准教授 (80550780)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | 計算眼科学 / 拡張現実 / 視覚補償 |
|---|
| Outline of Annual Research Achievements |
本研究では，外界をセンシングする外向きカメラ，患者の視線を追跡する内向きカメラで構成される入力モジュールから，コア処理モジュールがデータを受け取り，外界情報と主観的意図に基づく視覚強化画像を生成して，Optical/Video See Through Head Mount Display OST/VST-HMD を擁する出力モジュールを介して表示するという適応的処理機構を構築し，色覚異常，視野狭窄及び両眼複視の３つをケーススタディとしてユーザの視覚機能適応的に増強する技術を開発する．令和元年は視野狭窄をケーススタディとして，これまで開発した映像解析，視線追跡による注意予測及び個人に適応したOST/VST-HMDへの情報補償用画像表示の各モジュールを連携させ，障がいのシミュレーション及び補償用画像提示による支援の実証実験を行った．特に同名半盲については昨年度に続き，残された視野にOverview Windowを重畳表示させる技術の検証と改善を行い，国際会議で論文発表を行った．色覚異常については，コントラスト強調と自然さ保存を同時に実現できる画像変換アルゴリズムを完成させ，ビジュアルコンピューティング分野の主要国際論文誌に２本の論文を掲載することができた．さらに，個人の障害の度合いに適用できる画像変換アルゴリズムの設計と実装を行い，良好な結果が得られた．昨年度から進めていた色覚障がい者にOST-HMDを通して実空間を上記の最適化画像として知覚させるための重畳表示技術については，既存のOST-HMDに特定の色成分を減らす機能がないという問題を解決するプロットタイプを完成し，Web of Science収録論文誌にその成果をまとめた論文を掲載した．両眼複視については正常な目の視線に合わせて，全天球画像から運動障がいがある目用の画像を生成するアルゴリズムの設計を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画通りケーススタディを通して共通基盤の検証と改善を行うことができた．先行する色覚異常に対する支援技術はビジュアルコンピューティング分野の主要学術誌をはじめ，３本の論文を掲載することができた．視野狭窄に対する支援技術についても国際会議などにおいて高い評価を得た．
|
| Strategy for Future Research Activity |
視野狭窄に続き，色覚異常，両眼複視についてもこれまでに開発したアルゴリズムを計算基盤上に組み入れて実証研究を進め，アルゴリズムの改善を行う．
まず色覚異常については，機能が部分的に欠ける異常３色覚障用のアルゴリズムの実装と評価実験を完成させ，SIGGRAPH AsiaまたはIEEE Transaction on Visualization and Computer Graphicsに論文を投稿する．また，これまで色覚異常を考慮した画像評価尺度がないことを踏まえ，独自の画像評価尺度も開発し，アルゴリズムの改善を行う．さらに，最新の深層学習技術を活用し，画像内の対象物の色を自動的に検出する技術を開発し，それを計算基盤上に組み入れ，日常的なコンミュニケーションを支援できるアプリケーションを作成する．視野狭窄については，緑内障患者などによくみられる不規則な視野欠損を手軽に測定できる技術を開発すると同時に，計算基盤を活用しOST－HMDによるリアルタイム情報補償アルゴリズムの検証と改善を行う．Cyberworlds国際会議での論文発表をはじめ，成果の発信を積極的に行う．両眼複視については全周囲カメラからの画像生成アルゴリズムを完成させ，Video-See-Through HMDを用いた実験環境を構築し，計算基盤に組み入れて検証実験を行い，アルゴリズムの改善を行う．
|
| Remarks |
日本経済新聞, “その色は 味わいは 本物か 技術で五感を操る, 仮想現実が拓く世界（4)", 全国版朝刊，2019年5月29日011面
|
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Use of an Eye-tracking Device for the Detection of Visual Field Defects2019
Author(s)
Lina Chen, Changtong Mao, Kentaro Go, Xiaoyang Mao, Masahiro Toyoura, Kenji Kashiwagi, Zhenyang Zhu, Hiromichi Ichige, Ying Tang, Issei Fujishiro, Xi Zhao, Yuichiro Kinoshita
Organizer
日本バーチャルリアリティ学会第69回サイバースペースと仮想都市研究会
-
-
-
