• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

AIR-Glasses:AI-ARを用いた視知覚ベース個別適応型色覚情報補償技術

Research Project

Project/Area Number 22H00549
Research InstitutionUniversity of Yamanashi

Principal Investigator

茅 暁陽  山梨大学, 大学院総合研究部, 教授 (20283195)

Co-Investigator(Kenkyū-buntansha) 藤代 一成  慶應義塾大学, 理工学部(矢上), 教授 (00181347)
柏木 賢治  山梨大学, 大学院総合研究部, 教授 (30194723)
郷 健太郎  山梨大学, 大学院総合研究部, 教授 (50282009)
豊浦 正広  山梨大学, 大学院総合研究部, 准教授 (80550780)
Project Period (FY) 2022-04-01 – 2027-03-31
Keywords色覚障害補償 / 画像色変換
Outline of Annual Research Achievements

色覚障害(color vision deficiency、 CVD)は、網膜上に分布する錐体細胞の欠損や異常により生じ、色の区別を困難にするため、職業が制限されたり、他人とのコミュニケーションが困難になったり、危険に晒されるなど、Qolを大きく低下させる。本研究では最新の深層学習技術を活用し、個人の色覚障害の度合いに適応した色覚補償技術に加え、シーン中の物体の色覚特徴まで認識し、拡張現実感技術(Augmented Reality、 AR)を用いて可視化することで、意思決定や健常者とのシームレスなコミュニケーションを支援する技術を開発する。令和4年度の実績は以下の通りである。
課題(A)の個人の障害レベルへの適応については、CVDシミュレーションモデルを用いてコントラス損失を算出し、検査に利用できる画像集を作成した。また、既存の開発済RGB色空間に基づく障害レベル適応コントラスト補償アルゴリズムを人間の視覚特性により一致するLab色空間に拡張した。
課題(B)の知覚評価に対応した個人適応型補償モデルの開発においては、まず教師なし学習に基づく色覚補償画像生成深層学習モデルを開発した。主観評価を反映するための色変換モデルについて、利用可能な既存モデルの調査を行い、選定を行った。
課題(C)の色識別とコンミュニケーション支援については、既存の物体検出とテキストによる物体参照用深層学習モデルを拡張し、物体の色を認識し、他者と色情報を共有できる意味論的色覚情報補償技術を開発した。また、学習用データ集の作成も行った。色単語と物体単語のペアのテキスト情報が付与されている画像をFlickrから取得し、ラベルを自動的に付与した後、健常者によるスクリーニングを行い、データ集の品質を向上させた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計画した内容をすべて実施し、期待通りの成果が得られた。

Strategy for Future Research Activity

課題(A)の個人の障害レベルの適応については、令和4年度の成果として、既存の異常三色覚シミュレーションモデルの問題点を明らかにしたため、令和5年度はこれらの問題点を解決し、より正確なシミュレーションモデルを確立する。また、補償アルゴリズムについては、令和4年開発した変換方法の評価と改善を行うと同時に、新しいシミュレーションモデルに基づく補償アルゴリズムの開発も行う。
課題(B)の知覚評価に対応した個人適応型補償モデルの開発においては、少ない枚数の教師画像のみで個人の障害の度合いに適した色変換を実現する必要がある。そのため、障害の度合いにより見え方が顕著に変化する画像集をまずシミュレーションと主観実験を組合せて作成する。そして、変換モデルについては、転移学習及びFew-Shotスタイルトランスファーの二つの方法を比較検討し、より適したモデルを選択する。
課題(C)の色識別とコンミュニケーション支援については、令和4年度に、色によるオブジェクトの参照が可能なシステムを開発したが、まだ精度が低く、色のラベルも限定されているため、令和5年度はまずシステムの拡張を行うと同時に、追加で学習データの拡充も行う。また、色情報によるオブジェクト参照(検索モード)に加え、ユーザの視線を追跡し、注目するオブジェクトの色を自動的に判別し、ヘッドマウントディスプレイに可視化する探索モードの開発も行う予定である。

  • Research Products

    (7 results)

All 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Peer Reviewed: 4 results) Presentation (1 results) Remarks (1 results)

  • [Int'l Joint Research] 杭州電子科技大学(中国)

    • Country Name
      CHINA
    • Counterpart Institution
      杭州電子科技大学
  • [Journal Article] CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning2023

    • Author(s)
      Zhu Zhenyang、Li Jiyi、Tang Ying、Go Kentaro、Toyoura Masahiro、Kashiwagi Kenji、Fujishiro Issei、Mao Xiaoyang
    • Journal Title

      AHs '23: Proceedings of the Augmented Humans International Conference 2023

      Volume: - Pages: 190-199

    • DOI

      10.1145/3582700.3582707

    • Peer Reviewed
  • [Journal Article] A Study on Contextual Task Performance of Simulated Homonymous Hemianopia Patients with Computational Glasses-based Compensation2022

    • Author(s)
      Chao Ge, Zhenyang Zhu, Keisuke Ichinose, Issei Fujishiro, Kentaro Go, Kenji Kashiwagi, Masahiro Toyoura, Xiaoyang Mao
    • Journal Title

      ACM SIGGRAPH International Conference on Virtual-Reality Continuum and its Applications in Industry (VRCAI),

      Volume: 0 Pages: 1-8

    • DOI

      10.1145/3574131.3574441

    • Peer Reviewed
  • [Journal Article] Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut2022

    • Author(s)
      Wangkang Huang, Zhenyang Zhu, Ligeng Chen, Kentaro Go, Xiaodiao Chen, Xiaoyang Mao
    • Journal Title

      The Visual Computer

      Volume: 38 Pages: 3405-3418

    • DOI

      10.1007/s00371-022-02549-4

    • Peer Reviewed
  • [Journal Article] Swin Transformerを利用した色覚障がい支援用色変換手法2022

    • Author(s)
      陳 立庚,朱 臻陽,郷 健太郎,黄 望康,茅 暁陽
    • Journal Title

      Visual Computing シンポジウム

      Volume: 0 Pages: 1-6

    • Peer Reviewed
  • [Presentation] 深層学習を用いた肉の焼け具合の推定2022

    • Author(s)
      千葉 翔太,茅 暁陽
    • Organizer
      情報処理学会第84回全国大会
  • [Remarks] 計算眼科学

    • URL

      http://vc.media.yamanashi.ac.jp/

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi